El sitio del actual jardín botánico hasta la era Meiji fue el campo que rodeaba a un santuario de una aldea, subordinado y fuera de las lindes del Santuario de Kamo.