1902 wurde er Legationsrat im Auswärtigen Amt, 1903 Wirklicher Legationsrat und Vortragender Rat in der Rechtsabteilung, dann in der Politischen Abteilung. 1907 Geh. Legationsrat mit dem Range der Räte II. Klasse, 1910 Dirigent der Politischen Abteilung und 1911 Unterstaatssekretär. 1913 bis 1916 war er im Auswärtigen Amt unter Staatssekretär Gottlieb von Jagow tätig. Zimmermann war im Laufe der Mission Hoyos während der Julikrise an der Entscheidung beteiligt, Österreich-Ungarn im Krieg gegen das Königreich Serbien zu unterstützen. Als Jagow Mitte 1916 aus Protest gegen den uneingeschränkten U-Boot-Krieg zurücktrat, wurde Zimmermann am 22. November 1916 sein Nachfolger als Staatssekretär im Auswärtigen Amt. Auf diesem Posten war er der erste Nichtadelige, der zudem aus dem konsularischen Dienst kam. Er galt als Unterstützer der Obersten Heeresleitung und schlug im Dezember 1916 der Triple Entente ein Friedensangebot vor, das diese jedoch ablehnten.