年间曾因中日战争而断绝，该战争期间日本扶持的满洲国及汪精卫政权亦曾指派驻日大使。1952年4月28日签署《中日和约》结束战争状态后恢复。1972年9月，日本与中华人民共和国建交、并同时依一个中国政策与在台湾的中华民国政府断交，两国改为互派名义上不具外交官身分的驻地代表，直至今日。在2012年，中华民国外交部将包括驻日本代表在内的大使级外交官的官衔统一称为「大使」，对外则继续使用「代表」职称。
断交后的驻日本代表与大使（1973年-迄今）.中华民国与日本于1972年9月29日断交