待璋子稍稍年长后，却和白河天皇传出了丑闻（但真实性颇受争议），而鸟羽天皇也有所闻，因此质疑起璋子的贞操，连带的使璋子所生的子女们都受到鸟羽天皇的非议；2岁的统子内亲王于大治二年出任贺茂斋院，之后在长承元年以病退职，而禧子内亲王则接在妹妹统子内亲王之后，于长承元年10岁时被卜定为下任贺茂斋院。
待贤门院.在崇德天皇即位后，藤原璋子女院宣下，号待贤门院。即位初期，由白河法皇实行院政，但白河法皇于朝大治四年（1129年）崩御后，璋子立即被鸟羽天皇所疏远，而鸟羽天皇也立即讽刺性的迎白河法皇