1177年）六月，忠房的舅舅藤原成亲因参与打倒平家的“鹿谷阴谋”事件一事而被流放，终客死异乡。治承3年（1179年）正月，忠房娶信西第五子藤原脩范的女儿为妻，其后忠房之父亲平重盛亦去世。在平家武士与源氏武士决战的前哨战屋岛之战爆发、平家落败后，据《平家物语》，忠房脱离战阵，前往纪伊国投靠当地豪族汤浅宗重，受其庇护潜伏于当地。坛之浦之战后平家一门灭亡，因为被源赖朝继续征讨，汤浅宗重和藤原景清等平家残党聚集在忠房周围，守城三个月进行彻底抗战。然而，因为源赖朝说出“因为重盛昔日有恩于我，我必会救助他的儿子。”