后，璋子立即被鸟羽天皇所疏远，而鸟羽天皇也立即讽刺性的迎白河法皇所疏远之藤原家女儿藤原泰子为皇后，而璋子所生的五子二女，也一一难逃鸟羽天皇的迫害；女一宫禧子内亲王及女二宫统子内亲王两人分别在幼年时出仕贺茂斋院以外，通仁亲王和君仁亲王皆未满十岁纷纷夭折、雅仁亲王被鸟羽天皇培养成「不文不武的游艺皇子」，而最年幼的本仁亲王出生即被下令出家。野史《古事谈》记载，就连崇德天皇也在白河法皇崩御后，被鸟羽天皇改称为叔父子（意即非亲生子），并在西元1142年逼迫崇德天皇退位，好让宠妃美福门院之子—体仁亲王登基为76代近卫天