De først husene på Nanset ble bebygget i trekanten mellom Dr. Holms vei, Nansetveien og Greveien av skipsredere, skipsførere, handelsfolk samt håndverksmestre fra Larvik fra 1880-tallet, fordi det var lavere skatter i Hedrum kommune. I 1896 ble stedet ved kongelig resolusjon lagt inn under bygningslovens bestemmelser.