1180年(治承4年)、源頼朝の挙兵の際も秩父平氏(秩父党)は始め平家方につき、衣笠城合戦では衣笠城を落城させて三浦義明を討ち取った。