自己退隐到了筑后的矢部。1383年，怀良亲王病死于自己的隐居地。临终前作和歌一首：
怀良亲王的相关建筑.相传怀良亲王的坟墓在熊本县八代市。明治年间，日本政府在该市建立八代宫，对其进行祭祀。1928年（昭和三年），又在鹿儿岛县谷山市建立谷山神社，对他进行祭祀。