Rådet har sitt opphav i endringene i Den katolske kirkes syn på økumenikk som vant frem i Andre Vatikankonsil. Pave Johannes XXIII ønsket sterkt av kirken skulle bli mer aktiv i arbeidet for kristen enhet, og i 1960 opprettet han , med kardinal Augustin Bea som første president. Sekretariatets fremste oppgave var å invitere andre kirkesamfunn til å sende observatører til konsilet. Allerede under konsilets første sesjon i 1962 ble sekretariatet gitt samme status som konsilkommisjonene. Det fikk i oppgave å forberede dokumenter om økumenikk (), om ikke-kristne religioner (), om religionsfrihet og, sammen med doktrinekommisjonen, den dogmatiske konstitusjonen om guddommelig åpenbaring, .