们怀念自己的故乡，我也不便挽留你们，想要回去的就回去吧。”将士遂拜辞散去。羊侃带着宗族于大通三年（531年）到达南朝梁京师建康城（今南京），被梁武帝授为使持节、散骑常侍、都督瑕丘征讨诸军事、安北将军、徐州刺史，兄羊默及三个弟弟羊忱、羊给、羊元，皆拜为刺史。不久羊侃被任为都督北讨诸军事，出镇顿日城，以接应陈庆之北伐军。同年诏授持节、云麾将军、青、冀二州刺史。中大通四年（532年），诏为使持节、都督瑕丘诸军事、安北将军、兖州刺史，随太尉元法僧北伐。大军至官竹时，攻占谯城（今安徽滁州市）的元树被魏军樊子鹄