馆院与陆军省的后门仅隔有一条名为「梨木坂」的小街，1936年完工的国会议事堂也座落于南边的大路对面。这令德国大使馆所处的地段紧临着日本的国家军政中枢，离首相办公室和行政部门云集的霞关也不远，因此，该地成了德国人在战前的日本进行情报活动的据点，20世纪着名间谍——俄裔德国人理查·佐尔格即曾于德国驻日大使馆替苏联进行秘密任务。
二战及战后初期.1945年5月25日，美军发动第二次东京大空袭，德国驻日大使馆在B-29轰炸机投下的爆弹烈雨之中严重焚毁。二战结束、同盟国佔领日本之后，大使馆用