入梁朝境内时，士兵因要离乡，整夜唱着悲伤的怀乡歌曲。羊侃听后知道将士难以割舍自己的故乡，于是对他们说：“你们怀念自己的故乡，我也不便挽留你们，想要回去的就回去吧。”将士遂拜辞散去。羊侃带着宗族于大通三年（531年）到达南朝梁京师建康城（今南京），被梁武帝授为使持节、散骑常侍、都督瑕丘征讨诸军事、安北将军、徐州刺史，兄羊默及三个弟弟羊忱、羊给、羊元，皆拜为刺史。不久羊侃被任为都督北讨诸军事，出镇顿日城，以接应陈庆之北伐军。同年诏授持节、云麾将军、青、冀二州刺史。中大通四年（532年），诏为使持节、都督