宝亀11年（780年）の『西大寺資財流記帳』によれば、創建の経緯は以下のとおりである。天平宝字8年（764年）9月、孝謙上皇は恵美押勝の乱平定を祈願して金銅四天王像の造立を発願した。なお、孝謙上皇は同年10月重祚して称徳天皇となった。翌天平神護元年（765年）、前述の四天王像が造立され、西大寺が創建された。この四天王像4体は西大寺四王堂に今も安置されるが、各像が足元に踏みつける邪鬼だけが創建当時のもので、像本体は後世の作に代わっている。