Sempre intorno al 1833 il Barracco ospitò nel suo palazzo il nuovo re Ferdinando II di Borbone, in visita alle province del regno. Nel 1834 Alfonso, primogenito di Luigi (al quale gli succederà dopo la sua morte, avvenuta nel 1849), si unì con Emilia Carafa, ponendo le premesse per il trasferimento dei Barracco nella nuova residenza napoletana in via Monte di Dio (nel 1848 Stanislao Barracco, fratello di Alfonso, venne eletto nel Parlamento napoletano per il distretto di Cotrone). Dopo l'Unificazione, alla quale il barone Alfonso Barracco contribuì con una somma di 10.000 ducati a favore dell'impresa garibaldina, i Barracco si trasferirono a Roma. Nel frattempo, il grande palazzo di Crotone andava incontro ad una lenta ma costante rovina a causa della presenza ormai rara dei suoi proprietari.