За деякий час, у 1856 році міський театр переїхав в іншу будівлю на площі Руський ринок, а стару будівлю розібрали і того ж року на її місці почали будувати будинок дворянського зібрання. Під будівництво була також викуплена ділянка по сусідству. Однак, у 1861 році, коли будівля була майже готова, будівельні роботи припинили і довгий час не відновлювали, зокрема, з політичних причин: подільська шляхта брала активну участь у польському повстанні 1863—1864 років проти Російської імперії. Спорудження будинку було завершене лише у 1892 році, вже для окружного суду. Князь , який побував у Кам'янці у вересні 1869 року, так писав про цей довгобуд: