I 1965 ble han kreert til kardinalprest av pave Paul VI, med tittelkirken Santi Pietro e Paolo a Via Ostiense. Tre år senere ble han utnevnt til prefekt for Kongregasjonen for troslæren. Šeper stod bak dokumentet Mysterium Ecclesiae, som var avfattet for å reorientere ekklesiologien i den postkosiliære tid. Šeper var også president for den internasjonale teologiske kommisjon fra den ble opprettet til april 1969.