Under den andre verdenskrig var Nedre Nanset tysk administrasjonssentrum og etter krigen ble den anvendt som leiegård og senere som hotell. I 1952 ble den ervervet av Hedrum kommune som herredshus, noe den var til 1978. Den er også kjent som Bøkeskogen kultursenter. Larvik kulturskole hadde sine lokaler i bygningen til 2008.