彷徨五年
4月1日から甲賀宮の周辺で次々に山火事が発生したが、不満を持つ人々による放火が原因であったとされている。当時は原因不明の火災は神仏の祟りと考えられていたので、4月27日に天皇の徳を示すべく大赦と租税免除を決定したが、その当日に美濃付近を震源とする大地震が起こって、紫香楽でも大きく揺れた。5月に入っても余震が続いたが、当時天災も天皇の不徳・悪政にたいする天の咎めの表れと考えられていたので、紫香楽の新京建設が悪政であるという見方が一挙に強まった。動揺した聖武は5月2日に太政官の官人に「どこを都とすべきか」と問うたところ全員が「平城を都とすべし」と答えた。5月4日に平城京の四大寺の僧に同じ調査を行ったところ「平城京を都とすべし」という意思が示された。5月5日聖武は甲賀宮を離れ、恭仁宮を経由して11日には平城京のかつての内裏に戻り、官人たちも旧庁舎に帰った。
聖武が渇望していた大仏造立は、天平17年(745年)8月から平城京の東にあった金光明寺(後の東大寺)で再開され、天平勝宝4年(752年)4月9日に完成した大仏の開眼供養会が執り行われた。廃都となった恭仁宮の大極殿は天平18年(746年)9月に山背国分寺に施入されて、その跡地が現在山城国分寺金堂跡として保存されている。甲賀寺は大仏造立が放棄された後も整備が続けられ、近江国の国分寺となった。難波宮はその後も副都としても残り、天平17年8月には聖武の行幸があって約1か月滞在した。