Непридатний замок на багато років був покинутий, реконструкція західного крила почалася тільки в 1680-х роках за часів короля Яна III Собеського. На місці зруйнованого південного крила були побудовані стайні, кілька будівель було віддано для потреб місцевої влади, яка розмістила тут суд, казначейство, архів та інші відомства. У роки Барської конфедерації в замку розмістилися російські війська, що принесло старовинним будовам нові руйнування. Після третього поділу Польщі Сандомир перейшов у власність Австрії, а замок стали використовувати як будівлю суду і в'язницю. Багато внутрішніх приміщень в цей період були переплановані і розділені перегородками. В кінці 19 століття на території замку було збудовано новий тюремний корпус, який через його вигнуту форму стали називати «рогалик». Тюремний етап в історії замку завершився тільки в 1959 році, коли старовинну будівлю закрили на реконструкцію з подальшим розміщенням в ній музейних експозицій в 1987 році.