Věznice byla postavena v roce 1904 v době, kdy Litva byla součástí carského Ruska. V té době šlo o jedno z technologicky nejvyspělejších vězeňských zařízení v Rusku. Mělo centrální topení, vodovod, moderní odpady a ventilaci. Vězeňský komplex rovněž zahrnuje ortodoxní kostel svatého Mikuláše. V červnu 1941 popravovala sovětská tajná služba NKVD ve vězení zdejší zajatce. Věznice se stala nechvalně známou během německé okupace Litvy, kdy ji využívalo gestapo a litevská tajná policie Saugumas pro zadržování tisíců Židů z vilniuského ghetta a Poláků, zatčených v Łapankas v reakci na akce polského odboje. Většina z těchto vězňů byla posléze vyvedena na předměstí Vilniusu a popravena u města Ponary. Když Sověti území opětovně okupovali v roce 1944, zabrala věznici opět NKVD, která tu zadržovala tisíce polských aktivistů a partyzánů.