人才辈出，东汉名臣蔡邕为其外祖父，世代皆有人在朝为官。他的祖父羊续曾任南阳太守，父亲羊衜曾任上党太守；其胞姊羊徽瑜为晋景帝司马师的皇后。
生平.根据《晋书》所载，羊祜身高约为176公分, 容貌敦雅不俗，须眉秀长浓密而整洁。羊祜在曹魏时代历任中书侍郎、秘书监、相国从事中郎等官职。司马炎称帝后，羊祜深得司马家信任，升任尚书左仆射、车骑将军，官至征南大将军。去世后被追认为“太傅”。《资治通鑑》记载曹爽曾招羊祜和王沈，王沈劝他加入曹爽，羊祜则说曹爽必将败亡，后来如同其所说。在晋灭吴