Navnet på norrønt var , hvor det første leddet var en genitivsform av «Hvítir» (den hvite), og navnet er å forstå som eidet mellom den vestlige ende av Kviteseidvannet og den nordlige ende av Nisser. Området ved Kviteseid gård og Kviteseid gamle kirke var Kviteseids naturlige sentrum fra svært gammel tid, trolig i langt over tusen år; dette området ovenfor Kviteseidbukti ved Kviteseidvannet bærer flere tegn på tidlig beboelse og handelsplass med vannveier og dalsøkk som møtes. Kviteseid gård har i århundrer vært Kviteseids fremste gård og var i mange hundre år embedsgård for sognepresten i Kviteseid; flere av sogneprestene hadde også embedet som prost i Øvre Telemark. Etter å ha vært kirkegods siden middelalderen ble gården i 1870 privatisert og solgt til jernverkseier Diderik Cappelen, Ulefoss, gift 1886 med Eleonore Løvenskiold (1866–1949), og deres etterkommere i familien Cappelen eier gården.