Apenas transcurrida una semana de la muerte de su padre, el nuevo rey Fernando VI ordenó a su madrastra, la reina viuda Isabel de Farnesio, que abandonara el palacio real del Buen Retiro y se marchara a vivir a una casa de la duquesa de Osuna, acompañada de sus hijos, los infantes Luis y María Victoria.