В 1822 году дворец купил Артур Потоцкий и до начала Второй мировой войны здание принадлежало этой семье. В апреле 1846 года во время краковского восстания во дворце находился штаб Национальной гвардии. В 1854 году над входом со стороны Главной площади были установлены скульптурные композиции в виде трёх голов баранов авторства итальянского скульптора Франческо Марии Ланчи. В 1860 году Потоцкие произвели капитальный ремонт дома, во время которого был пристроен ещё один этаж, после чего дворец приобрёл современный вид. После этого ремонта сохранились первоначальные готические элементы на первом этаже, в подвальном помещении и на стене первого этажа со стороны внутреннего двора. На фасаде здания также сохранились барочные элементы XVIII века. В интерьере сохранились архитектурные декоративные элементы XVII-XIX вв.