Bygningen er erklært verneverdig. Larvik fengsel ble tegnet av to kjente tysk-norske arkitekter, Heinrich Ernst Schirmer og Wilhelm von Hanno, som dels i fellesskap, dels hver for seg tegnet en rekke kjente monumentalbygg i Oslo. Førstnevnte ledet også restaureringen av Nidarosdomen. Fengselet sto ferdig som Laurvigs Districtsfængsel i 1863.