Den 5. april 1962 ble han titularerkebiskop av , og ble bispeviet av pave Johannes XXIII. Som kardinalprotodiakon forkynte han med ordene valget av pave Paul VI. Kardinal Ottaviani var den så langt (pr 2017) den siste som har kunnet krone en pave. Under Paul VI var han fra 1963 til desember 1965 først kardinalsekretær, og så frem til 6. januar 1968 den første prefekt for Troskongregasjonen (som var blitt omstrukturert som etterfølgerinstitusjon etter Det hellige officium i 1965). Den 26. juni 1967 ble han elevert til kardinalprest.