创立后，继承了「大清国驻日本国公使馆」，将之改名为「中华民国驻日本国公使馆」。1935年，中华民国与日本协议将双方的公使馆升格为大使馆，首任中华民国驻日本大使为蒋作宾。至1938年，双方大使馆因中国抗日战争关闭，中华民国驻日本大使许世英返国。1952年中日和约签约后，中华民国与日本复交，位于东京的中国驻日大使馆重开（日本把驻华大使馆改设在台北）。1972年，因日本承认中华人民共和国，大使馆遂裁撤；后改由台北驻日本经济文化代表处取代，仍是大使馆级的外交机构。