彷徨五年
紫香楽宮は現在の滋賀県甲賀市信楽町に建設された。琵琶湖からは遠い山間の小盆地で、聖武が最初に大仏の造立を始めた地だが、この大仏は完成しなかった。始め紫香楽宮という離宮として建設が始まり、後に本格的な首都(甲賀宮と呼ばれた)となるべく工事が進められた。
難波宮の中枢部の遺跡は現在の大阪城の南にあるが、聖武の意思によって彷徨五年が始まる10年以上前から再整備が進んでいた。聖武は瀬戸内海の海上交通の重要拠点である難波の地を重視し、即位の2年後の神亀3年10月から藤原宇合を知造難波宮事に任命し平城京の副都として難波宮の再整備に着手した(後期難波宮)。工事は天平4年(732年)にほぼ一段落し、宇合や作業に従事した仕丁以上の者に物を賜り、天平6年には官人らに難波宮での宅地が班給された。
聖武天皇が彷徨五年を開始する前の数年間は天災や疫病が多発していた。天平4年(732年)夏の干ばつと、翌天平5年の飢饉と、飢饉によって体力を失った庶民が疫病の流行で多数亡くなった、天平6年4月7日には平城京と周辺の畿内諸国に大きな被害を与えた大地震が発生した。天平7年(735年)8月に大宰府からの「疫病による死者が多い」との知らせに始まった天然痘の流行は翌年には一旦収まるが、天平9年に再度大流行した。この年の天然痘の流行は非常に大規模なもので、当時の政権中枢にいた藤原四兄弟が4人とも亡くなり、日本人口の25から35%、あるいは30から50%が減ったとされる。平城京内には多数の死骸が放置され屍臭が内裏まで漂った。以後の聖武は藤原四兄弟に替わって太政官の主班となった橘諸兄とともに窮民救済に当たると同時に、仏教の力によってこの穢れを浄化する政策を強力に進め始める。