任が終わる直前に帰洛し、久寿2年(1155年)12月に民部少輔に補任されたが、平治元年(1159年)の平治の乱で敗れた異母弟・信頼との縁座によって陸奥に流された。