武士斋藤五、斋藤六照顾他们。平六代母子三人在京都普照寺奥大觉寺以北隐居了起来。1185年（文治元年），平家在坛之浦之战中为源氏所灭。镰仓幕府大肆搜捕平家落人，同年十二月镰仓幕府发现了平六代的踪迹，平六代随即被北条时政率兵逮捕，送往镰仓，将被斩首。但源赖朝器重的文觉法师为平六代求情，因此免于处决，送给文觉法师处置。此外，平六代的母亲新大纳言局此时已经改嫁给了源赖朝信任的公卿吉田经房，吉田也向源赖朝求情，因此平六代免于一死。文觉法师将平六代带到了京都的神护寺保护起来。1189年（文治五年），平六代在神护