Senere ble han hjemkalt til utenriksdepartementet der han ble viseminister i 1911, og den 24. november 1916 ble han utnevnt til utenriksminister etter Gottlieb von Jagow. Rent faktisk hadde han ivaretatt en stor del av sin forgjengers forhandlinger med utenlandske utsendinger i flere år, allerede før han ble utenriksminister. Han var den første ikke-adelige utenriksminister i Tyskland.