书监、相国从事中郎等官职。司马炎称帝后，羊祜深得司马家信任，升任尚书左仆射、车骑将军，官至征南大将军。去世后被追认为“太傅”。《资治通鑑》记载曹爽曾招羊祜和王沈，王沈劝他加入曹爽，羊祜则说曹爽必将败亡，后来如同其所说。在晋灭吴的过程中，最初羊祜任荆州都督（269年），掌握荆州晋佔区一带军政大权。在此期间羊祜不尚武力，以柔和手段管治，用诡计使吴驻守石城（今湖北钟祥市）的兵力退却，并在统辖地区屯田，加强军事实力。272年步阐献西陵城降晋，当时驻守荆州吴占区的陆抗急袭西陵，前往救援的羊祜、徐胤以围魏救