Regjeringen vedtok å bygge en rekke nye fengsler i 1842. I 1859 var planene kommet så langt at det ble besluttet at tre av disse skulle legges til Buskerud. Ett på Nesbyen i Hallingdal, ett i Hokksund og ett i Hønefoss. Arkitekten var Henrik Thrap-Meyer (1833–1910), som også har tegnet Victoria terrasse i Oslo. Tomten ble kjøpt for 400 spesidaler og byggingen kom i gang i 1863. Fengselet åpnet 22. januar 1864 og hadde da plass for 17 innsatte fordelt på 12 celler. I tillegg disponerte politiet 2 celler.