1176年）三月后白河法皇举行五十大寿的庆祝宴会时，忠房与四位兄长的名字都被记载于其上，忠房当时的职位是兵卫佐。安元三年（1177年）六月，忠房的舅舅藤原成亲因参与打倒平家的“鹿谷阴谋”事件一事而被流放，终客死异乡。治承3年（1179年）正月，忠房娶信西第五子藤原脩范的女儿为妻，其后忠房之父亲平重盛亦去世。在平家武士与源氏武士决战的前哨战屋岛之战爆发、平家落败后，据《平家物语》，忠房脱离战阵，前往纪伊国投靠当地豪族汤浅宗重，受其庇护潜伏于当地。坛之浦之战后平家一门灭亡，因为被源赖朝继续征讨，汤浅宗重