一説によると、夏侯威が泰山郡に赴任した時、泰山郡の名門の御曹司だった若き日の羊祜を見て、その器量に惚れて兄の夏侯覇を説得し、姪（夏侯覇の娘）を嫁がせたという。後に岳父の夏侯覇が司馬懿に反乱を起こし蜀漢に逃亡すると、多くの親族が夏侯覇に絶縁状を叩き付けた。だが、羊祜はかえって岳父の身を案じて、憔悴した妻をよく慰め、慈悲の愛撫を施した。
初め、曹爽が権勢を揮っていた頃、王沈から仕官を勧められた。しかし、羊祜は「（生死を尽くして）人に仕えるのは容易な事ではない」としてこれを断った。後に曹爽が誅殺されると、王沈も連座して官を剥奪された。王沈が改めて「羊君の言う事が正しかった」と言ったところ、羊祜は「初めに考えてどうこうというものではないのですよ」と答えたという。先見の明に優れた人であった。
呉を滅ぼさんとした司馬炎（武帝）は、羊祜を都督荊州諸軍事に任命した。赴任した羊祜は民を慰撫し、呉の降伏者にも寛大な態度で臨むなどしたため、漢水の畔周辺や江夏において人心を得た。また、八百余頃を開墾して「十年之績」と呼ばれるまでの蓄えを確保するなど、内政・民政に手腕を発揮した。一方で、呉が何度か襄陽へ侵攻したため、計略を巡らせて呉の石城の鎮守軍を撤去させるなど軍略にも余念がなく、後に車騎将軍まで昇進した。また司令官という立場でありながら任地では鎧を着けずに軽装で出歩くのを好んだ。ある時、軍司の徐胤から「閣下の身の安否は、国家の安否でもあるのです。軽々しい行動はお慎み下さい」と諫められたため、以後は控えるようになった。