源義朝の死後は故郷の岡部に戻っていたが、治承4年(1180年)に義朝の遺児源頼朝が挙兵すると、それに従うこととなった。