根据《晋书》所载，羊祜身高约为176公分, 容貌敦雅不俗，须眉秀长浓密而整洁。羊祜在曹魏时代历任中书侍郎、秘书监、相国从事中郎等官职。司马炎称帝后，羊祜深得司马家信任，升任尚书左仆射、车骑将军，官至征南大将军。去世后被追认为“太傅”。《资治通鑑》记载曹爽曾招羊祜和王沈，王沈劝他加入曹爽，羊祜则说曹爽必将败亡，后来如同其所说。在晋灭吴的过程中，最初羊祜任荆州都督（269年），掌握荆州晋佔区一带军政大权。在此期间羊祜不尚武力，以柔和手段管治，用诡计使吴驻守石城（今湖北钟祥市）的兵力退却，并在统辖地区屯田