Fra 24. juni 1943 var han etter eget ønske ambassadør til Den hellige Stol i Roma. Der ble han til krigens slutt. Hans tid der er blitt betegnet som merkelig, ved det at han helst ikke videreformidlet informasjon til Berlin om pavelige tiltak og ytringer som kunne opphisse nazistene i hjemlandet, og samtidig rådet paven til fremgangsmåter som reduserte risikoen for at kirken skulle bli rammet.