馆址是于1938年敲定的，当时为了配合希特勒和亚伯特·史佩尔的首都改造计画「日耳曼尼亚」，而将原日本大使馆迁至指定的蒂尔加滕新使馆区（即现址），并兴建了比旧馆更宏大的馆舍。则与日本使馆隔街相望，这样的位置亦是源自日耳曼尼亚计画的安排，在当时间接象征了「三国轴心」的意义。二战之后，此座馆舍受到烽火破坏而长久闲置，而日本在德代表机构也分为波昂的驻西德大使馆与东柏林的驻东德大使馆。两德统一后的1991年，两者再度合併成单一的日本驻德大使馆。为了配合日本大使馆的开张，德日两国的代表人员于1980年代中期决定