Han ble kalt til Roma av kardinalstatssekretær Luigi Maglione for å gå inn i Den hellige stols diplomatiske tjeneste, og den 1. september 1942 begynte han utdannelse ved Det pavelige diplomatakademi. Han ble snart tildelt den ordinære seksjon av statssekretariatet, da ledet av monsignor Giovanni Battista Montini, den fremtidige pave Paul VI. Fra 1948 til 1954 var han Montinis sekretær. Den 1. februar 1959 ble han tilknyttet det apostoliske nuntiatur i Østerrike.