Skolen åpnet sitt første folkehøyskolekurs allerede i 1876, da under navnet Vestfold amtsskole. Den er dermed en av de aller eldste folkehøyskolene i landet. I 1903 fikk skolen nye lokaler på gården Nordby i Sandefjord og ble samtidig gitt det historiske navnet Skiringssal. Skiringssal var en markedsplass og kultsted i det gamle Vestfold, ved Larvik. Kaupang gård i Larvik kommune, Vestfold, 6 km nordøst for Larvik sentrum. Her lå i tidlig vikingtid en markedsplass og et kultsted (Skiringssal), som i Alfred den stores oversettelse av Orosius' verdenshistorie kalles en by. Undersøkelser av boplassområdet 2000–02 har bekreftet at Kaupang har vært en karakteristisk vikingtidsby, der bosetningen har vært inndelt i parseller. Kaupangs glanstid må ha vært 800-tallet og første halvdel av 900-tallet.