Etter at han i 1908 giftet seg med Emma Møller fra hjembygda, flyttet ekteparet til Botne, nå Holmestrand i Vestfold. Duun hadde fått lærerjobb på Ramberg skole (nå nedlagt), en stilling han hadde i perioden 1908–1927. I 1914 kjøpte de huset «Fjellvang», hvor de siden ble boende. Emma Duun overlevde ektemannen med 31 år og døde i 1970. Skolestua fra Ramberg skole står i dag på Reidvintunet i Hillestad. Hvert år siden 1979 har Duunvenner ("Duun-klubben" Gruppe 65, i samarbeid med Olav og Emma Duuns stiftelse) arrangert et Duun-stevne i parken ved Olav Duuns hus.