记帐》记载，古坟并非是称德天皇的真正陵墓，真正的是在西大寺寺域西边的地方。然而，后来这份资料失传，以鎌仓时代德治2年（1307年）以前绘成的「大和国西大寺往古敷地图」为古坟的初出文献，由于这份资料称陵墓是位于西大寺东面，才出现本古坟为称德天皇陵的说法。江户时代则出现了北面的五社神古坟才是称德天皇陵的说法。幕末文久修陵时，重新按照「大和国西大寺往古敷地图」的说法，将本古坟定为称德天皇陵，直至现在。另外，有些说法认为称德天皇陵位于西大寺西面的奈良自动车学校南面的丘陵附近。