弘仁14年（823年）甥（姉・旅子の子）の大伴親王が即位（淳和天皇）すると、天長2年（825年）には右大臣に任ぜられる。天長3年（826年）、冬嗣が没すると右大臣だった緒嗣は淳和天皇を助けて再び政治の中枢に立つものの病気がちで満足に政務が取れない日々が続いた。更に将来を期待していた長男家雄にも先立たれる。既に冬嗣の息子の長良・良房兄弟は政界の中心に台頭しつつあり、冬嗣にはその死後に更に差を付けられてしまう事となる。嵯峨朝から仁明朝にかけては崇文の治と称えられるほどの安定した治世ではあったが、嵯峨天皇がすぐに自らの皇子である正良親王（仁明天皇）に譲位せず、弟の大伴親王（淳和天皇）に譲位した事は両親王派の派閥を生む事となった。かくして、嵯峨上皇崩御後の承和9年（842年）に起こった承和の変によって、中納言・藤原吉野（緒嗣の従兄弟の子）が流刑になったのは式家には大きな痛手となった。承和10年（843年）正二位・左大臣の官に就いたまま病死。享年70。即日従一位の位階が贈られた。晩年は空海ゆかりの観音寺（今熊野）の整備とその隣接地における法輪寺（後の泉涌寺）創建に携わり、次男の春津の代に完成している。墓所は観音寺内にあるとも言われているが不詳である。
1年半後、参議・文室綿麻呂に陸奥出羽按察使の職を譲って都に戻ると、平城天皇の譲位と続いて発生した薬子の変により情勢は一変していた。緒嗣とは何ら関係のない事件であり自身も鎮圧側に回ったが、緒嗣の従兄弟・故藤原種継の子である尚侍・薬子と参議・仲成の兄弟が事件の首謀者として死亡したことで、緒嗣が属する藤原式家の政治的地位の低下を招いた。その上、この混乱の中で観察使制度が廃止され参議が復活したこと（緒嗣は参議に復帰）で緒嗣主導の改革政策は事実上挫折した。さらに、1歳年下である藤原北家の藤原冬嗣が新設された蔵人頭に任命されて政治の中枢に立ち、弘仁5年（814年）には従三位に昇進して官位でも緒嗣を追い抜き、北家が台頭していく事となる。その後の緒嗣は失意と病気のために度々引退を申し出たものの許されなかった。昇進面でも冬嗣の後塵を拝し続けるものの、弘仁8年（817年）中納言、弘仁12年（821年）大納言と順調に昇進、この間の弘仁9年（818年）には右大臣・藤原園人と中納言・藤原葛野麻呂の死去により、以降太政官において首班である冬嗣に次ぐ地位を占めた。また、『新撰姓氏録』や『日本後紀』の編纂事業に参画。特に後者については、編纂の全過程に緒嗣が関ったと言われており、彼の元に優れた文才と批判精神を持つ人たちが集められて制作された。また、外交的な意味が薄れて半ば商用と化し、通過先の住民を煩わせるだけとなった渤海からの使者の制限を提案している。
国際連盟は第1次世界大戦後にオスマン帝国分割の一環としてイギリスのパレスチナ委任統治を認めた。1918年に実施したイギリスの人口調査ではアラブ人は700,000人、ユダヤ人56,000人と推計している。1917年のバルフォア宣言でイギリスの外務大臣は「パレスチナでのユダヤ人居住地（ナショナル・ホーム）建設に好意を寄せており…（中略）…パレスチナの非ユダヤ系住民の市民権および宗教的権利を害することがあってはならない…（後略）」と政府の見解を示している。この時点では居住地獲得の手段として分割も国家の樹立も言及されてはいなかった。バルフォアの後任外相カーゾン侯爵は、1500年の大半の時期パレスチナを占有してきたアラブ系住民はどうなるか、そしてユダヤ人移民のために土地を取り上げることも、後から来たもののために土地を切り開いてきただけになることも彼らには納得がいかないだろうと懸念しメモに残している。1937年、ピール委員会はパレスチナをアラブ国家と小さなユダヤ国家（15％程度）、国際地域に分割する提案を行った。アラブ側の指導者はこの提案を拒絶。ユダヤの指導者ハイム・ヴァイツマンとベン＝グリオンは今後の交渉の土台として、条件付きでこの提案を承認するようシオニスト会議を納得させた。この提案には、ローザンヌ条約のギリシャとトルコ間での住民交換をモデルに、アラブ住民をユダヤ人国家の国境外へ移転することに関する条文が含まれていた。やはりこれに関してもアラブ側からは拒否された。イギリスのウッドヘッド委員会はいくつかの分割案を考案した。しかしこの提案を実現するのは困難であった。1938年のイギリス政府の政策要綱では「パレスチナにアラブ人とユダヤ人の独立国家を創出する提案に関する政治的、行政的、財政的困難は非常に大きく、問題の解決は不可能である」と述べた。アラブ人とユダヤ人の代表をロンドン会議に招いたが問題解決には至らなかった。1939年5月のマクドナルド白書（39年白書）では、イギリス政府はパレスチナをユダヤ人国家にすべきという方針はとっていないこと、またパレスチナへのユダヤ人移民を制限する考えを示した。これに対しユダヤ側は拒否反応を見せた。イギリス政府に移民制限を無くすよう要請し、またアリヤー・ベートと呼ばれる違法移民が発生した。強硬派はレヒを組織した。彼らはイギリスに抵抗するユダヤ人テロ組織であり、一時はナチスと協力することも考えた。しかしレヒはメンバーが100名以下であり調査の結果ナチスは興味を失っていった。結局この時代には全てが未解決のままであった。