のちに許されて文治2年(1186年)に5月には還任。