寿永2年(1183年)正月に正二位・権大納言となるが、同年7月に平氏一門が都落ちした後は昇進が停滞する。