Kammerherre Severin Løvenskiold kjøpte Kjølnes Gård en gang etter 1787. Han bygde om gården til en lystgård, og reiste et nytt bygning som fikk navnet «Elverhøy». Angivelig brukte kammerherren gården som avlingsgård og landsted, da han ellers bodde i Kammerherregården (400–500 meter unna). Eiendommen fikk på denne tiden sin vakre hage, med flere lysthus, terrasser nedover mot elva og nøttetrealléer. Løvenskioldfamilien brukte gården bare om sommeren.