隆姫女王
『栄花物語』によれば、頼通の父道長は、両親共に皇族の高貴な血筋である隆姫との縁談を「男は妻がらなり」と歓迎したといい、頼通と隆姫の夫婦仲も大変良かった。しかし隆姫には子供はなかったこともあり、三条天皇が頼通に対して娘の禔子内親王を降嫁させたいと持ち掛けた。隆姫を悲しませたくない頼通が躊躇していると、道長に「男は妻は一人のみやは持たる 痴のさまや」と叱責されたという。その後、病床に伏した頼通の元に具平親王の怨霊が現れたともいわれ、結局沙汰やみになった(その後禔子内親王は頼通の弟教通と結婚している)。
とはいえ、とりわけ后候補となる女子に恵まれなかったことは頼通にとっても痛手であり、後に隆姫の姪(妹敦康親王妃の娘)嫄子女王を養女に迎えて後朱雀天皇の中宮とした。古くから頼通は隆姫に頭が上がらなかったために、他の女性との間に生まれた男子を他家に次々と養子に出したと『愚管抄』などにあるが、裏づけとなる根拠はなく、むしろ猶子師房の立場を配慮したためとする説もある。
従一位に至り康平7年(1064年)11月落飾、寛治元年(1087年)11月22日未剋ばかりに93歳という高齢で薨去。豊明節会の最中であり、薨去の報は直ちには知らされなかったという。