O jovem príncipe não teve oportunidade de crescer na opulência da corte napolitana. Em 1860, já sob o reinado de seu irmão, o rei Francisco II, Nápoles foi invadida pela Expedição dos Mil de Giuseppe Garibaldi. A família real fugiu para Gaeta, onde as tropas leais a Francisco II resistiram durante três meses às forças garibaldinas. Finalmente derrotados e despojados de suas propriedades e riquezas, os Bourbons foram acolhidos pelo Papa Pio IX e passaram a residir no Palácio do Quirinal, em Roma.