Herregården har været på adskillige hænder, men i 1855 købte den daværende Kgl. Veterinær- og Landbohøjskole (KVL) Rolighed og alle dets tilliggender. Dog anvendte KVL ikke meget af arealerne og det gamle landsted ændrede funktion ganske nævneværdigt, idet Københavns Sygehjem blev grundlagt og overtog arealerne. Sygehjemmet gav efter den store koleraepedemi kronisk syge fra middelstanden en bedre mulighed for pleje, uden at ende deres sidste dage på fattigforsorgen.