Manufakturhuset ble med tiden brukt som arbeidshus for voksne fattige og bostedsløse. Arbeidet besto av etterhvert også av spinning av lin og tobakk, samt produksjon av spiker. I 1744 ble bygget offisiell tvangsarbeidsanstalt for voksne. I 1768 ble Manufakturhuset ombygget av Johan Joachim Reichborn. I 1789 ble bygningen brukt som tukthus for mannlige tyver. Manufakturhuset ble også den alminnelige straffeanstalten for kvinner. Tukthuset ble nedlagt 1886.