曾经在兖州尧庙蹋壁，一直向上达到五寻高（一寻等于八尺，5个羊侃高度），横向行得七迹（七步？）。泗桥有几个石人，长八尺，大十围，他扛起来相互撞击，全部被打破碎。又精通《左氏春秋》及《孙吴兵法》，文武双全。弱冠随父羊祉在梁州从军。北魏正光年间升为别将，后为萧宝夤偏将，曾暗中潜伏射杀秦州羌族酋长莫折念生。以功迁使持节、征东大将军、东道行台，领泰山太守，进爵鉅平侯。北魏孝庄帝建义元年（528年），中书舍人徐纥与尔朱荣结怨，尔朱荣领兵进逼洛阳时，徐纥逃往泰山郡依附羊侃，并劝说羊侃举兵。羊侃又受父亲遗命影响，遂聚兵