Cuando quedó viuda se trasladó junto con sus hijos Luis y María Antonia desde el Palacio del Buen Retiro hasta el palacio del duque de Osuna, que estaba situado en la zona de la actual Plaza de España de Madrid; pero un año después, en agosto de 1747, su hijastro, ya Fernando VI de España, la desterró al Real Sitio de la Granja de San Ildefonso en Segovia, aunque ella se construyó otra residencia cerca, el Palacio Real de Riofrío.