På dette stedet lå det fra 1600-tallet et mindre slaveri (fangehus) og vaktstue i tilknytning til Skansevollene. Vaktbygningen var en laftet tømmerbygning oppført før 1756 som ble revet i 1837. Slaveriet flyttet inn i sitt nye bygg i perioden 1835–1837 og ble deretter en del av den nye Hovedvakten, som ble oppført samme år etter tegninger av general Theodor C. Broch. Opprinnelig hadde arkitekten for Slaveriet, Ole Peter Riis Høegh, levert inn et utkast for nytt hovedvaktbygg, men militæretaten overlot ansvaret til general Broch da Riis Høegh hadde takket ja til å bli Bergens første stadskonduktør fra 1835. I nabobygget (Kongens gate 95) lå gevaldigerboliger for Slaveriet.