9年）正月，忠房娶信西第五子藤原脩范的女儿为妻，其后忠房之父亲平重盛亦去世。在平家武士与源氏武士决战的前哨战屋岛之战爆发、平家落败后，据《平家物语》，忠房脱离战阵，前往纪伊国投靠当地豪族汤浅宗重，受其庇护潜伏于当地。坛之浦之战后平家一门灭亡，因为被源赖朝继续征讨，汤浅宗重和藤原景清等平家残党聚集在忠房周围，守城三个月进行彻底抗战。然而，因为源赖朝说出“因为重盛昔日有恩于我，我必会救助他的儿子。”这样的承诺，被谎言所引诱的忠房投降，前往镰仓。在与赖朝见面后，被送回京城，而在路上被接受了赖朝的命令的武士后藤