又精通《左氏春秋》及《孙吴兵法》，文武双全。弱冠随父羊祉在梁州从军。北魏正光年间升为别将，后为萧宝夤偏将，曾暗中潜伏射杀秦州羌族酋长莫折念生。以功迁使持节、征东大将军、东道行台，领泰山太守，进爵鉅平侯。北魏孝庄帝建义元年（528年），中书舍人徐纥与尔朱荣结怨，尔朱荣领兵进逼洛阳时，徐纥逃往泰山郡依附羊侃，并劝说羊侃举兵。羊侃又受父亲遗命影响，遂聚兵反，率众归附南朝梁，北魏遣使授侃骠骑大将军、司徒、泰山郡公，承诺羊侃终生担任兖州刺史。但矢志南归的羊侃斩杀使者以明决心，并包围兖州。兖州刺史羊敦，为羊侃从兄，