I 1935 ble han utnevnt til apostolisk delegat for Tyrkia og Hellas, med sete i Istanbul, hvor han bodde til 1937, da han flyttet til Aten. Under den tyske okkupasjonen arbeidet han hardt for å unngå hungersnød og skjulte jøder på flukt. Han ble for sin innsats forslått til Righteous Among the Nations i Yad Vashem museet. Rabbi Simon Moguilevsky av Buenos Aires, omtalte Roncalli som «en mann som virkelig er skapt i Guds bilde». 22. desember 1944 ble han overraskende utnevnt av pave Pius XII til det viktige diplomatiske posten som nuntius i Frankrike, hvor han blant annet var nødt til å gripe fatt i beskyldninger mot en rekke biskoper for samarbeid med de tyske okkupantene, og han overtalte tre av dem til å gå av med pensjon. I 1951 overtok han også som Den hellige stols representant til UNESCO.