帰国した羊祜は、責を負って平南将軍に降格された。しかしその他の者たちは特に目立った罰を受けていない。羊祜は以後も漢水周辺の経営にあたり、新しく五城を設けて石城以西を晋の勢力下に置いた。また呉への侵攻は許さず、専ら防衛を重視し、徒に紛争を起こす事を避けた。法規を遵守して徳治政治を行なったため、呉から流入する人々も多かった（呉は地方豪族たちの権限が強く、大土地所有制およびそれに基づく大規模な荘園開発が行われていた。このため、領民はよく過酷な収奪に遭っており、呉の末期は特にそれが深刻化し、国の弱体化に繋がっていた）。羊祜は、呉の武将たちへの対応にも気を払っており、彼らが投降しやすい状況を整えていた。また、来襲してきた呉将を斬った時は、丁重に遺体を送り返すなど礼を尽くしたため、呉の間でも「羊公」と呼ばれ、敬慕されていたという。
その後、病を患って重くなり、後任に杜預を推挙して亡くなった。その日は酷寒であり、哭する人々の涙が氷となって頭髪に散ったという。羊祜が治めていた地域の人々は、市（市場）を畳んで慟哭したため、巷には泣き叫ぶ声が相連なった。晋の人々だけではなく、呉側の国境を守備する将兵たちも、羊公のために泣いたと伝えられる。
羊公碑.
陸抗との交誼.
陸抗とは国境を挟み任地が隣であり、敵同士ではあったが才能を認め合い、互いの領地を侵さない事を暗黙の了解としていたという。しかし、両者とも立場を弁え、情誼に溺れて手心を加える事はなかった。
ある時、過労のためか病気がちであった陸抗に対し、羊祜が薬を贈った。呉の武将たちが、敵からの贈り物など信用ならないと反対したが、陸抗は躊躇わずにそれを服用し、何の異常もなく平然としていた。後日、陸抗は薬の返礼として酒を贈り、羊祜もまた、毒見もせずに全て飲んだという。両者が信頼や信義というものを身をもって示す事は、このようであった。
この故事から、いかなる政治的な先入観にも囚われない私的な交誼を表す「羊陸之交」という成語ができた。
逸話.