I de neste seks år lå gården ubenyttet, til den i 1822 ble innrettet som arbeidsanstalt, senere også utvidet med en tvangsarbeidsanstalt. De fattige bodde eller ble innsatt på Ladegården, og ble derfor kalt for «innsatte». I 1839 ble menn og kvinner adskilt med et plankegjerde, og fant dette så urimelig at de satte fyr på både gjerdet og flere bygninger. I 1850 bodde det nesten 2.000 fattige på Ladegården. Ved siden av Ladegården ble det da oppført en egentlig fattiggård, som fra omkring 1870 tjente som kvinneavdeling.