后，赖通纳女宽子为中宫，企盼能生下皇子作为继承人，然未能如愿。最后尊仁继位，是为后三条天皇，赖通则到了宇治过着半退隐的生活，而淡出政务。后来，后三条天皇于1073年去世，赖通当时仍在世，感叹其政治上的敌手后三条天皇是个早逝的贤主。赖通本欲传关白于其子师实，而未能如愿；最后让给其弟教通，而约定以后传给师实。然而教通久无传意，赖通希望教通履行约定，教通则以「此非我所能私相授受」作回应。此事让赖通很遗憾。
建立平等院.1052年，赖通将宇治的别墅改为寺院，名为平等院。着名的凤凰堂于1