そのため、治承4年(1180年)に義朝の子・源頼朝が挙兵しても平氏方にとどまり、平維盛の後見役として頼朝追討に出陣する。