至指定的蒂尔加滕新使馆区（即现址），并兴建了比旧馆更宏大的馆舍。则与日本使馆隔街相望，这样的位置亦是源自日耳曼尼亚计画的安排，在当时间接象征了「三国轴心」的意义。二战之后，此座馆舍受到烽火破坏而长久闲置，而日本在德代表机构也分为波昂的驻西德大使馆与东柏林的驻东德大使馆。两德统一后的1991年，两者再度合併成单一的日本驻德大使馆。为了配合日本大使馆的开张，德日两国的代表人员于1980年代中期决定翻新蒂尔加滕的日使馆旧院区。2000年之前完成的变化内容包括将入口大门改设到广岛街上、并增设一座和风庭园。