Biblioteket bygger på en boksamling fra Kviteseid Seminar. En del av disse bøkene er fremdeles magasinert i folkebiblioteket som en del av lokalsamlinga.