史羊祉次子。羊深年少时学经史，善文章。任司空府记室参军、轻车将军、尚书骑兵郎。转任尚书驾部郎中，加右军将军。521年（正光二年），魏孝明帝行释奠之礼，羊深讲《孝经》，被时论称美。524年（正光五年），北地郡车金雀率羌族反魏，高平郡乱军宿勤明达攻打豳州、夏州、北华州。北海王元颢担任都督、行台讨伐乱军，羊深作为其属下的持节、通直散骑常侍、行台左丞、军司随军征伐。527年（孝昌三年），高平乱军失败，羊深回到洛阳。转任尚书左丞，加平东将军、光禄大夫。萧宝寅在关中作乱，正平郡薛凤贤响应叛乱，羊深兼任给事黄门侍