Da banen ble vedtatt av Stortinget 12. juli 1919, skulle den bygges som en trikkelinje. Disse planene ga banen en noe lavere standard enn en vanlig jernbanelinje, men den skulle bygges elektrifisert. Byggingen startet høsten 1921 under betegnelsen «Voss–Eidebanen». Byggingen startet som nødsarbeid for et par hundre personer, det ble brukt om lag 1 million kroner i nødsarbeidsmidler. Mangel på ingeniører utsatte byggingen, og først 5. november 1923 vedtok Stortinget de endelige planene for jernbanen. Byggingen var da planlagt å koste 9,8 millioner kroner.