Оскільки Ян Дзялинський фінансував та організовував Січневе повстання у Великопольщі, крах повстання та заочний вирок, винесений йому прусською владою (знятий лише у 1871 році), змусили його емігрувати. Щоб уберегти Голухів від конфіскації, Ізабелла формально викупила замок від Дзялинських (де факто замок був заставою позик, наданих Дзялинському родиною Чарторийських). Протягом 1875—1885 років вона здійснила ґрунтовну перебудову та ремонт замку. Перебудову було зроблено частково за ескізами французького реставратора Ежена Віолле-ле-Дюка та польського архітектора Зиґмунта Ґорґолевського. Автором фінального проєкту став французький фахівець Моріс Август Обраду.