之后赖通生病，便以故具平亲王作祟为由，推拒了这门亲事。1017年，任内大臣，不久并接替道长任藤氏长者、摄政。1019年转任关白。1021年叙从一位、转任左大臣。1061年拜太政大臣。1064年辞藤氏长者，1067年辞关白，得到准三宫的待遇。在后朱雀天皇病重之际，要求赖通辅佐其子后冷泉天皇，并欲以尊仁亲王为东宫。赖通不满意这个人事安排，然而在其弟能信的促成下，尊仁亲王终于立为东宫。所以赖通与尊仁不合。后冷泉天皇继位后，赖通纳女宽子为中宫，企盼能生下皇子作为继承人，然未能如愿。最后尊仁继位，是为后三条天