丑闻，愤怒的桓武天皇便将药子赶出东宫。待平城天皇一即位，又将药子召回宫里，并命藤原药子出任尚侍一职。此时的药子因有天皇做其后盾，让其兄藤原仲成一起入宫干预政事。之后平城天皇因为病弱而让位为太上天皇，药子兄妹也随之失势。不料上皇的病竟在退位后好转，受岳母藤原药子的诱惑，他觉得自己还年轻，仍然关心国政，于是就以上皇的地位发佈政令，使得嵯峨天皇与上皇分别成为两个朝廷一般。起初嵯峨天皇对上皇与药子等人有所忍让，但到后来上皇却催促希望朝廷迁都平城京，以便自己掌权。嵯峨天皇在忍无可忍的情况下，在810年九月十日剥夺药子