I 1853 ble det besluttet å bygge en ny fengselsbygning. Denne fikk navnet Sem tvangsarbeidsanstalt. Den utgjør i dag avdeling A ved fengslet. I 1857 ble nok en bygning reist på vestsiden av den forrige. Det er den som i dag kalles avdeling B.