Возведён в кардиналы-дьяконы (так как не имел епископского сана) папой римским Пием XII на консистории от 12 января 1953 года. Оттавиани получил красную шапку и титулярную диаконию Санта-Мария-ин-Домника, в тот же день был назначен про-секретарём Священной Конгрегации Священной Канцелярии. В конце жизни папы Пия XII Оттавиани, вместе с кардиналами Джузеппе Пиццардо, Никола Канали, Клементе Микара и Адеодато Пьяцца, составлял ближайшее окружение папы, либеральные прелаты в курии окрестили эту группу «куриальный Пентагон». На Конклаве 1958 года Оттавиани и другие кардиналы, настроенные на продолжение консервативного курса Пия XII, отстаивали кандидатуру архиепископа Генуи, кардинала Джузеппе Сири, но в результате был избран кардинал Ронкалли, принявший имя Иоанн XXIII. Именно Иоанн XXIII 7 ноября 1959 года назначил Оттавиани секретарём Священной Конгрегации Священной Канцелярии. 3 августа 1961 года Альфредо Оттавиани стал кардиналом-протодьяконом, то есть старшим кардиналом-дьяконом, в функции которого входило объявление имени нового понтифика с центрального балкона Собора Святого Петра после выборов на конклаве, а также коронация нового папы римского тиарой.