Duuns hadde flyttet til Holmestrand i 1908 da Duun ble ansatt som lærer ved Ramberg skole. De bodde forskjellige steder de første årene, inntil de kjøpte Fjellvang i 1914. Olav Duun bodde i huset resten av livet, og enken Emma Duun bodde her til sin død i 1970. Ekteparet hadde en datter, som var barnløs.