衡也因此被南都的僧众刻骨仇视。治承五年（1181年）3月，源行家趁平清盛逝世之际攻打平家。在墨俣川之战中，平重衡率领平家武士大败源氏，杀死卿公义圆，暂时阻挡了源氏的进攻。寿永二年（1183年）5月，平家在俱利伽罗峠中大败后，放弃了京都。平重衡追随宗盛出城。平家在屋岛站稳了脚跟，在此期间，重衡在战场上非常活跃。同年10月，他在水岛之战中击毙源氏的足利义清；11月又在室山之战中打败源行家，给了木曾义仲以沉重打击。义仲不得不派儿子源义基为人质，与源赖朝联盟。翌年正月，赖朝派蒲冠者源范赖、九郎判官源义经支援