Bygningen stod ferdig i 1833, og var tegnet av arkitekt Ole Peter Riis Høegh. Den er et tidlig og enkelt eksempel på det panoptiske system, hvor man fra et ovalt observasjonsrom midt i bygningen hadde kontroll over slavene som var plassert i fire større rom. I 1879 ble slavene flyttet til tukthuset i Kongens gate 85. Bygningen ble deretter primært brukt som reserveareal for byens fengsel frem til 1895, da den ble tatt i bruk som landets første kriminalasyl for farlige, kriminelle sinnssyke. De store rommene ble ominnredet til mindre celler langs en korridor, første etasje i 1895 og annen etasje i 1900. Hver celle ble oppvarmet med en ovn, plassert inne i cellen men fyrt gjennom en luke i korridoren. Hele ovnen og røret et dekket av en halvkjegleformet kappe. Fra 1926 inngikk Kriminalasylet i institusjonen Reitgjerdet, og i 1961 ble pasientene overført dit.