現在の大使館の建物はナチス・ドイツ時代の1938年（昭和13年）から1942年（昭和17年）にかけて、ヒトラーとシュペーアによる世界首都ゲルマニア計画の一環として建築家の総合設計、の内装設計によってティーアガルテン地区に建設された。当時日本とドイツは枢軸国を形成する同盟国であり、ベルリンの日本大使館は日本にとって欧州の重要な外交拠点であった。第二次世界大戦末期の1945年（昭和20年）には、ベルリン市街戦で損傷を受けたものの、全壊は免れた。終戦後、光学写真技術学校として使用された10年間を除いて使用されず、ベルリンが冷戦によって東西に分断されたこともあって朽ちるに任せて放置された。