Etter at Spanias rikeste og mektigste bispedømme Toledo ble ledig, da kardinal Francisco Jiménez de Cisneros døde, var det uenighet om hvem som så skulle overta. Som en midlertidig løsning, og igjen som følge av onkelens innflytelse, falt valget på de Croy. Etter at han den 31. desember 1517 ble gjort til apostolisk administrator av Toledo, frasa han seg den 17. august 1519 bispedømmet Cambrai. Da var det i mens avklart at han skulle bli varig der; han ble gjort til Toledos ordentlige erkebiskop etter at han var blitt naturalisert som kastiljaner.