成立后，日本继续派遣驻华公使。1935年，两国升格为大使级外交关系，改派驻华大使。
驻中华民国大使（1935年－1940年）.1935年5月17日，中日两国晋升为大使级外交关系，中国即以驻日公使蒋作宾为驻日大使，日本即以驻华公使有吉明为驻华大使。1938年，日本不再承认中华民国国民政府代表中国，但仍然向中国派遣大使。1940年，日本承认汪精卫政权代表中国，并向该政权派遣大使。
驻（汪精卫政权）大使（1940年－1945年）.1940年3月30日，日本的傀儡政权