通本欲传关白于其子师实，而未能如愿；最后让给其弟教通，而约定以后传给师实。然而教通久无传意，赖通希望教通履行约定，教通则以「此非我所能私相授受」作回应。此事让赖通很遗憾。
建立平等院.1052年，赖通将宇治的别墅改为寺院，名为平等院。着名的凤凰堂于1053年落成。由于凤凰堂奇蹟似地逃过战火的波及而保存至今，被指定为日本的国宝。