Внаслідок австро-італо-французької війни у 1859 році Роберто втратив трон. Марія Луїза виїхала з дітьми до Венеції. Втім, родина мала великі особисті статки, їм також належала вілла П'яноре у Камайоре, і вони могли дозволити собі розкішне життя.