寿永3年(1184年)、正二位に昇って検非違使別当を辞する。