その後、後冷泉朝にて出雲守・式部少輔を務めるが昇進が遅滞し、康平元年(1058年)70歳にして五位に留まる境遇を嘆いている。