Протягом своєї історії Карлстенська фортеця слугувала також і в'язницею. В ній містилися особливо небезпечні злочинці і політичні в'язні. Зокрема, саме тут з 1813 до кінця 30-х років утримувався відомий грабіжник . У 1855 році останніх фортечних ув'язнених перевели в Гетеборг, оскільки шведський уряд не бажав присутності небезпечних злочинців у важливому для оборони держави місці в ході можливих ускладнень, пов'язаних з Кримською війною, що тривала.