归附南朝梁，北魏遣使授侃骠骑大将军、司徒、泰山郡公，承诺羊侃终生担任兖州刺史。但矢志南归的羊侃斩杀使者以明决心，并包围兖州。兖州刺史羊敦，为羊侃从兄，其效忠北魏，据州防守，羊侃率众三万攻城，未能攻破，只能先筑城十余座而守，以等待南梁的援军。梁武帝则派遣羊鸦仁、王弁率军接应，李元履运给粮食甲仗。尔朱荣命侍中于晖为行台尚书左仆射，率军数十万，先行攻击羊侃于瑕丘（今山东兖州），徐纥逃往梁朝求援。尔朱荣再派高欢和尔朱阳增援，羊侃再次向梁朝求援，但于晖将羊侃重重围困，梁军无力接应，羊侃营中箭矢用尽