養和元年(1181年)に清盛が没し、後白河法皇の院政が再開されると、復権して12月には右大弁兼蔵人頭に任ぜられ、寿永2年(1183年)には参議に任ぜられ公卿に列す。