Han engasjerte seg sterkt i det gryende økumeniske arbeid i Den katolske kirke, og organiserte økumeniske kongresser i Nederland. I Vatikanet ble dette lagt merke til, og i 1960 ble han kalt dit av pave Johannes XXIII, som gjorde ham til sekretær for det nylig opprettede Sekretariatet for de kristnes enhet. Under annet vatikankonsil var han med på å forberede dokumentene som beskjeftiget seg med de kristnes enhet, religionsfrihet og relasjonene med de ikke-kristne religioner.