長久元年(1040年)に左京大夫を兼ねて、長久3年(1042年)の参議昇進まで蔵人頭を務めているが、この間に頼通との関係は大きく悪化した(昇進が参議に留まったのもこのことが深く関係しているとされる)。