奈良時代には中心堂宇の大仏殿(金堂)のほか、東西2つの七重塔(推定高さ約70メートル以上)を含む大伽藍が整備されたが、中世以降、2度の兵火で多くの建物を焼失した。