I 1920 ble han også formelt sett pavelig nuntius for hele Tyskland, som den første i sitt slag. Han forhandlet frem konkordatene mellom Vatikanet og Bayern i 1924 og Preussen i 1929. Som følge av disse flyttet han til Berlin. Han holdt relasjoner til en rekke ulike politiske miljøer, blant andre sosialistiske politikere som Philipp Scheidemann og Friedrich Ebert. Han hadde helt siden tiden i München også hemmelige kontrakter med sovjetiske myndigheter i årene 1925 til 1927. Dette kom som følge av at Vatikanet ikke hadde noen offisiell representasjon i Moskva og denne kontakten ble slik ivaretatt av Pacelli. Tema for kontakten dreide seg om en rekke ulike forhold, fra matforsendelser til kirkens og religionens stilling i Sovjetunionen.