Al caer Napoleón en 1814, Carlos y María Luisa se trasladan al palacio Barberini, también en Roma, donde permanecerán casi cuatro años viviendo de la pensión que les enviaba su hijo Fernando, quien ya repuesto en el trono de España, negó a sus padres el retorno.