Mellom 1865 og 1959 ble bygningen brukt som sinnssykeasyl ledet av legen Frantz Th. Rosenberg. Det private asylet huset først 50 mannlige pasienter, men ble senere utvidet til 120 plasser. Sinnssykeasylet i Fastings Minde fikk etter hvert navnet Rosenbergs asyl, på folkemunne kalt «Tussaren», mens Bredalsmarken ned mot Dokken ble kalt «Tussemarken». I 1896 ble asylet solgt til overrettssakfører Kristian G.S. Jebsen. I 1914 kjøpte kommunen Rosenbergs asyl for kr 375 000, og institusjonen ble drevet kommunalt frem til nedleggelsen i 1959. Da hadde asylet rundt 140 pasienter.