楼于1897年时开始作为使馆办事处使用。1906年，德国将驻日代表处的级别从公使馆升为大使馆，馆院与陆军省的后门仅隔有一条名为「梨木坂」的小街，1936年完工的国会议事堂也座落于南边的大路对面。这令德国大使馆所处的地段紧临着日本的国家军政中枢，离首相办公室和行政部门云集的霞关也不远，因此，该地成了德国人在战前的日本进行情报活动的据点，20世纪着名间谍——俄裔德国人理查·佐尔格即曾于德国驻日大使馆替苏联进行秘密任务。
二战及战后初期.1945年5月25日，美军发动第二次东京大空袭