Etter Rosenbergs død i 1878 gikk asylene over til hans arvinger. I 1896 ble asylene solgt til overrettssakfører Kristian G. S. Jebsen. I 1914 kjøpte kommunen Rosenbergs asyl for kr. 375.000, og institusjonen ble drevet kommunalt frem til nedleggelsen i 1959. Da hadde asylet rundt 140 pasienter, disse ble overført til Luster sanatorium, sammen med forvalter og overpleier samt 2 pleiersker og 4 pleiere.