Etter biskop Tomás Gutiérrez Díez' død i 1964 etterfulgte Añoveros ham som ordinær biskop av Cádiz og Ceuta. Skjønt havn var borte i lange strekk da han deltok på Andre Vatikankonsil, ble han kjent for å ha styrt bispedømmet med sterk hånd., Hans viktigste bekymringer har vært seminaret og de sosiale spørsmål. Det var under på sitt Cádiz-Ceuta-oppdrag han fikk en landsomfattende anerkjennelse.