Manufakturhuset ble oppført med innsamlede midler som i 1646. Her kunne fattige, foreldreløse gutter og jenter i alderen 12–18 år få oppdragelse og lære et håndverk. Prostituerte kunne også dømmes til et opphold, adskilt fra de unge. Navnet har sin bakgrunn i handelsmannen Jacob von Wida i 1684 fikk kongens tillatelse til å produsere «et grof linnet og ulden manufactur i Børnehusset». De ansatte/innsatte produserte klær for det militære og en tid hadde fabrikken enerett til å levere uniformer og uniformsdeler til regimentene og garnisonene i Bergen, Trondheim og Kristiansand.