（永安二年）元颢入洛阳，羊深他在属下兼黄门郎。元颢败死，羊深被免官。后任大鸿胪卿。531年（普泰元年），受位散骑常侍、卫将军、右光禄大夫，监起居注。羊深受魏节闵帝之命，和卢道虔、元晏、元法寿主持东西二省官员，选人补定。羊深兼侍中，节闵帝对他很信任。魏孝武帝即位，羊深任中书令。受位车骑大将军、左光禄大夫。534年（永熙三年）六月，兼御史中尉、东道军司。孝武帝入关中，羊深和樊子鹄占据兖州叛东魏高欢。樊子鹄任命羊深为齐州刺史，在太山郡博县商王村建造堡垒、引入山齐民。535年（天平二年）正月，被东魏军打败，在阵