非常厌恶她，但因为她是自己的姨母，为了不败坏外祖父藤原兼家的名声，也只能置之不理。但与绥子私通的源赖定却在三条天皇在位期间不得升殿。宽弘元年（1004年）2月，绥子薨，享年三十一。生前最高位不确切，按《日本纪略》则为从二位，无明确记载授予时间。按《一代要记》则为正二位，授予时间为长保元年正月。
子女.相传绥子与源赖定私通所生的孩子，即日后的僧都赖贤。