Por ello, tras la derrota de Solferino, se retira a Miramar, donde vive con su esposa Carlota en una casa provisional, apodada "il Castelleto", hasta 1860, cuando se finaliza su construcción, y finalmente establecen ahí su residencia permanente.