孝謙上皇・道鏡と淳仁天皇・仲麻呂との対立は深まり危機感を抱いた仲麻呂は、天平宝字8年（764年）自らを都督四畿内三関近江丹波播磨等国兵事使に任じ、さらなる軍事力の掌握を企てる。しかし謀反の密告があり、上皇方に先手を打たれて天皇のもとにあるべき御璽や駅鈴を奪われると、仲麻呂は平城京を脱出する。子の辛加知が国司を務めていた越前国に入り再起を図るが、官軍に阻まれて失敗。仲麻呂は近江国高島郡の三尾で最後の抵抗をするが官軍に攻められて敗北する。敗れた仲麻呂は妻子と琵琶湖に舟をだしてなおも逃れようとするが、官兵石村石楯に捕らえられて斬首された。享年59。僅か1週間前には完全に軍権を把握して意気揚々たる状態だったが、将棋倒しのように不運な敗戦と誤算が相次ぎ急転直下の滅亡となった。
一方、この頃病になった孝謙上皇は自分を看病した道鏡を側に置いて寵愛するようになった。仲麻呂は淳仁天皇を通じて、孝謙上皇に道鏡との関係を諌めさせた。これが孝謙上皇を激怒させ、上皇は出家して尼になるとともに天皇から大事・賞罰の大権を奪うことを宣言するが、これが実現したかどうかについては研究者のあいだでも見解が分かれる。孝謙上皇の道鏡への寵愛は更に深まり、天平宝字7年（763年）には道鏡を少僧都とした。
この年唐で安史の乱が起きたとの報が日本にもたらされると、仲麻呂は大宰府をはじめ諸国の防備を厳にすることを命じる。天平宝字3年（759年）には新羅が日本の使節に無礼をはたらいたとして、仲麻呂は新羅征伐の準備をはじめさせた。軍船394隻、兵士4万700人を動員する本格的な遠征計画が立てられるが、この遠征は後の孝謙上皇と仲麻呂との不和により実行されずに終わる。
天平宝字2年（758年）8月に孝謙天皇が譲位して大炊王が即位（淳仁天皇）する。淳仁天皇を擁立した仲麻呂は独自な政治を行うようになり、中男と正丁の年齢繰上げや雑徭の半減、問民苦使や平準署の創設など徳治政策を進めるとともに、官名を唐風に改称させる唐風政策を推進した。そして仲麻呂自身は太保（右大臣）に任じられる。さらに、仲麻呂の一家は姓に恵美の二字を付け加えられるとともに、仲麻呂は押勝の名を賜与された。また鋳銭と出挙の権利も与えられ、藤原恵美家には私印を用いることが許された。
こうした仲麻呂の台頭に不満を持ったのが橘諸兄の子の奈良麻呂だった。皇太子廃立をうけて奈良麻呂は大伴古麻呂らとともに、仲麻呂を殺害して天武天皇の孫にあたる皇族を擁立する反乱を企てるが、はやくも同年6月に上道斐太都らの密告により計画が露見。奈良麻呂の一味は捕らえられ、443人が処罰される大事件となった。奈良麻呂と古麻呂をはじめ、新帝擁立の候補者に名が挙がっていた道祖王や黄文王も捕縛され拷問を受けて獄死、反乱に関与したとして右大臣藤原豊成も左遷された（橘奈良麻呂の乱）。これによって仲麻呂は太政官の首座に就き、名実ともに最高権力者となった。
天平9年（737年）天然痘の流行により、光明皇后の後ろ盾として政権を担っていた父の武智麻呂と叔父の藤原房前・藤原宇合・藤原麻呂のいわゆる藤原四兄弟が相次いで病死し、藤原氏の勢力は大きく後退する。替わって光明皇后の異父兄で疫病禍をかわした橘諸兄が参議から一挙に大納言次いで右大臣に昇進して国政を担うようになった。兄たちを次々と失った光明皇后は、その不安から聖武天皇へ大仏建立を強く勧めたとされる。また、天平12年（740年）に聖武天皇が河内国大県郡の智識寺を訪ね、その寺の盧舎那仏から大いに影響を受けたという。この智識寺は、名が表すとおり智識（同信集団）の勧進銭によって建立された寺で、それは東大寺成立の過程にも反映された。
文武天皇末年の慶雲3年（706年）に藤原南家の始祖である藤原武智麻呂の次男として生まれる。生まれつき聡明鋭敏であり、大抵の書物は読破していた。また、大納言・阿倍宿奈麻呂に算術を学び、優れた学才を示した。内舎人から大学少允を経て、天平6年（734年）従五位下に叙爵。
名称は詐欺師チャールズ・ポンジ（Charles Ponzi）の名に由来する。「あなた（御社）のお金を運用して増やし、増えた分を（「配当」などとして）あなたに支払う」などと謳って、お金（出資金）を集めるのだが、そのお金は（全くあるいはほとんど）運用されず、以前からの出資者に「配当」として渡すことで、さもまともな資金運用をしているかのように装う。詐欺師が巧みならば、しばらくの間は出資者が増え続けて体面を保てる場合もあるが、システム全体では利益を生んでおらず負債が増え続け、最後には配当金が工面できなくなり破綻する。後から参加した出資者ほど損害は大きくなり、最後の頃の出資者（人数としては割合が多い）は配当を殆ど得られず、最後の出資者に至っては配当を全く得られない。日本では「出資金詐欺」という、投資詐欺の一種に分類される。日本語では、「ネズミ講」（あるいは「無限連鎖講」）などと訳されること（訳されてしまうこと）が多いが、実際にはこのポンジ・スキームはネズミ講に特徴的な階層的なシステムに依らない単純な手口を含むため、実態と和訳とが乖離してしまう例もある（バーナード・L・マドフ#調査で明らかになった被害を参照のこと）。名の由来となったチャールズ・ポンジの手法も、出資者から得た資金を配当に回す自転車操業的なシステムであった。