Skolen ble grunnlagt i 1895 av Lars Eskeland, men ideen om å starte en folkehøgskole her kom i 1887 da Bjørnstjerne Bjørnson var på Voss. En gruppe unge mennesker hyllet dikteren ved å synge «Ja, vi elsker» utenfor Fleischer's hotel, der han bodde. Bjørnson spurte i den anledning de unge om det var noen folkehøgskole i bygden. Da svaret var nei, uttalte han: «Ungdom på Voss. Det er mit ønske at det på Voss må bli reist en folkehøiskole.» Skolens ideologi var inspirert av Nikolai Frederik Severin Grundtvigs idé om folkehøgskoler.