藤原緒嗣
1年半後、参議・文室綿麻呂に陸奥出羽按察使の職を譲って都に戻ると、平城天皇の譲位と続いて発生した薬子の変により情勢は一変していた。緒嗣とは何ら関係のない事件であり自身も鎮圧側に回ったが、緒嗣の従兄弟・故藤原種継の子である尚侍・薬子と参議・仲成の兄弟が事件の首謀者として死亡したことで、緒嗣が属する藤原式家の政治的地位の低下を招いた。その上、この混乱の中で観察使制度が廃止され参議が復活したこと(緒嗣は参議に復帰)で緒嗣主導の改革政策は事実上挫折した。さらに、1歳年下である藤原北家の藤原冬嗣が新設された蔵人頭に任命されて政治の中枢に立ち、弘仁5年(814年)には従三位に昇進して官位でも緒嗣を追い抜き、北家が台頭していく事となる。
その後の緒嗣は失意と病気のために度々引退を申し出たものの許されなかった。昇進面でも冬嗣の後塵を拝し続けるものの、弘仁8年(817年)中納言、弘仁12年(821年)大納言と順調に昇進、この間の弘仁9年(818年)には右大臣・藤原園人と中納言・藤原葛野麻呂の死去により、以降太政官において首班である冬嗣に次ぐ地位を占めた。また、『新撰姓氏録』や『日本後紀』の編纂事業に参画。特に後者については、編纂の全過程に緒嗣が関ったと言われており、彼の元に優れた文才と批判精神を持つ人たちが集められて制作された。また、外交的な意味が薄れて半ば商用と化し、通過先の住民を煩わせるだけとなった渤海からの使者の制限を提案している。