治承4年(1180年)、源義仲が挙兵するとその麾下に参加し、有力な部将の一人となる。