Regresó a España en 1772, promovido a la sede primada de Toledo, y permaneció al frente de esta arquidiócesis hasta el año 1800, en que renunció al puesto en teoría por razones de salud, si bien la causa verdadera eran sus conflictivas relaciones y roces con el valido Manuel Godoy.