La zona sobre la que se asienta el Pabellón Dorado alojó hacia el año 1220 una mansión propiedad de Saionji Kintsune.