27年（孝昌三年），高平乱军失败，羊深回到洛阳。转任尚书左丞，加平东将军、光禄大夫。萧宝寅在关中作乱，正平郡薛凤贤响应叛乱，羊深兼任给事黄门侍郎，讨伐叛乱。528年（武泰元年），和长孙稚在潼关会师，萧宝寅败走。以功封爵新泰男。担任东道慰劳使、二徐行台。魏孝庄帝即位，羊深担任安东将军、太府卿，出任二兖行台。河阴之变，尔朱荣诛杀朝臣，羊深之弟太山郡太守羊侃逃亡南朝梁，请羊深一起同行。羊深哭着斩杀了羊侃的使者，详细向魏孝庄帝报告，上表自劾，请求入朝。回到洛阳后，被剥夺官爵。后来担任抚军将军、金紫光禄大夫。