Fra 1960 ledet han den teologiste forberedelseskommisjon forut for Annet Vatikankonsil og fra 1962 Konsilskommisjonen. Kardinal Ottaviani var sammen med kardinalene Giuseppe Siri og Ernesto Ruffini en viktog representant for den konservative leir under konsilet, i en krets som ble kalt . Ved sin ledelsesfunksjon i forberedelseskommisjonen var han sammen med kardinal Michael Browne viktig under utarbeidelsen av dokumentutkast.