逃亡南朝梁，请羊深一起同行。羊深哭着斩杀了羊侃的使者，详细向魏孝庄帝报告，上表自劾，请求入朝。回到洛阳后，被剥夺官爵。后来担任抚军将军、金紫光禄大夫。529年（永安二年）元颢入洛阳，羊深他在属下兼黄门郎。元颢败死，羊深被免官。后任大鸿胪卿。531年（普泰元年），受位散骑常侍、卫将军、右光禄大夫，监起居注。羊深受魏节闵帝之命，和卢道虔、元晏、元法寿主持东西二省官员，选人补定。羊深兼侍中，节闵帝对他很信任。魏孝武帝即位，羊深任中书令。受位车骑大将军、左光禄大夫。534年（永熙三年）六月，兼御史中尉、东道