Voordat het bouwwerk als Keizerlijk Paleis gebruikt werd was er het Edo Castle waarin de beroemde Shogun Tokugawa verbleef. De eerste gedateerde gegevens over dit kasteel stammen uit 1603. Het Paleis zelf werd pas na de Meiji restauratie in 1868 officiel in gebruik genomen door de keizer van Japan.