Hans hans tidlige posteringer tok ham til Egypt, Palestina, Transjordan, Arabia og Kypros før han returnerte til Roma i 1952 av helsemessige årsaker. Han virket i statssekretariatet da han ble utnevnt til dets protokollsjef den 30. september 1961. Det neste året var han undersekretær for kommisjonen som var ansvarlig for å organisere Det andre Vatikankonsil. Hans sentrale plassering i Vatikanet, hans entusiasme for den nye pave og hans innsikt i pave Johannes XXIIIs tenkning som han hadde vunnet ved sin onkel Giuseppe de Luca som publiserte pavens skrifter, hadde allerede gjort ham til en viktig kilde for pressen, og etter pave Johannes død ga han journalister sine innsidesinnlikk om både pave Johannes og internasjonale relasjoner under hans pontifikat. Både under og tiår etter pave Johannes' pontifikat knyttet Cardinale seg selv og pave Johannes til et velvillig syn på kunstig prevensjon.