Pero a la vuelta de Fernando VII, el Cardenal Luis María de Borbón y Vallabriga cayó en desgracia y fue confinado en Toledo, acompañado por María Teresa, de donde sólo salieron para asistir al entierro de su madre en Zaragoza en febrero de 1820.