Pave Paul VI opptok ham den 26. juni 1967 som kardinalprest med tittelkirken Santa Maria della Mercede e Sant’Adriano a Villa Albani i kardinalskollegiet. Årene 1971 til 1974 ledet John Joseph Krol som dets president United States Conference of Catholic Bishops.