寿永4年(1185年)3月24日の壇ノ浦の戦いで平家一門が滅亡すると、時忠は源義経の軍勢に捕らえられて捕虜として都へ戻った。