宫。赖通不满意这个人事安排，然而在其弟能信的促成下，尊仁亲王终于立为东宫。所以赖通与尊仁不合。后冷泉天皇继位后，赖通纳女宽子为中宫，企盼能生下皇子作为继承人，然未能如愿。最后尊仁继位，是为后三条天皇，赖通则到了宇治过着半退隐的生活，而淡出政务。后来，后三条天皇于1073年去世，赖通当时仍在世，感叹其政治上的敌手后三条天皇是个早逝的贤主。赖通本欲传关白于其子师实，而未能如愿；最后让给其弟教通，而约定以后传给师实。然而教通久无传意，赖通希望教通履行约定，教通则以「此非我所能私相授受」作回应。此事让赖通很遗憾