文治元年(1185年)11月3日、義経と頼朝が対立し、義経が都を落ちる際にも同行する。