Будівлю в стилі раннього класицизму було зведено в 1825 році на горі в Романівському передмісті за проєктом архітектора Казимира Хрщановича (на замовлення поміщика Рудольфа Піщалло, з іменем якого пов'язана назва Піщаловський замок). Всупереч поширеній помилці, Піщалло не був архітектором замку, а тільки генеральним підрядником, який виграв конкурс і отримав казенні гроші на будівництво нового кам'яного острогу замість старого. Будівлю завжди використовували як в'язницю. В острозі відбували покарання багато політичних ув'язнених: повстанці 1830-31 і 1863-64 років на чолі з Вінцентом Дуніним-Марцинкевичем, поети-гуманісти Карусь Каганець і Олесь Гарун, Якуб Колас, тут було страчено революціонера Івана Пуліхова, що вчинив замах на генерал-губернатора Курлова.