Quand le port de Yokohama s'ouvre au commerce extérieur en 1859 à la suite de la signature du Traité Harris, les installations étrangères sont initialement limitées à une zone de faible altitude appelée . Comme l'activité commerciale à Kannai a rapidement surpassé les capacités d'accueil, des constructions dans le Yamate Bluff, plus en hauteur, commencent en 1862. L'une des premières constructions du Bluff a été la résidence du Consul Général Britannique, Sir Rutherford Alcock.