池武光率领的南朝军，夺回了大宰府。怀良亲王见大势已去，将征西将军一职让给了后村上天皇的儿子良成亲王，自己退隐到了筑后的矢部。1383年，怀良亲王病死于自己的隐居地。临终前作和歌一首：
怀良亲王的相关建筑.相传怀良亲王的坟墓在熊本县八代市。明治年间，日本政府在该市建立八代宫，对其进行祭祀。1928年（昭和三年），又在鹿儿岛县谷山市建立谷山神社，对他进行祭祀。