Věznice byla zřízena jako centrální zařízení svého typu již během Rakousko-uherské vlády nad Bosnou. V roce 1904 byla zahájena její výstavba. Prvním správcem se stal Emil Taufer, který měl již praxi z Lepoglavské věznice na rozhraní dnešního Slovinska a Chorvatska. Během 20. století pak byli v této věznici internovány různé slavné osobnosti, jako například Gavrilo Princip, Nedeljko Čabrinović, Muhamed Mehmedbašić, Vaso Čubrilović (strůjci Atentátu na Františka Ferdinanda d'Este), nebo také spisovatel Ivo Andrić, který byl obviněn ze spolupráce s organizací Mladá Bosna.