Elverhøy ble bygget i 1914 for selskapet Essvik & Granvik. Det ble tegnet av Arnstein Arneberg, som senere ble kjent for blant annet Skaugum. Bygningen er et av hans tidligste verk. Det ble anlagt en prakthage rundt huset, som i liten grad er bevart.