Vossebanen gikk opprinnelig langs fjordens sørside gjennom flere kortere tunneler. Anleggsarbeidet i det bratte berget var krevende. Det fantes stort sett ikke veier og anleggsarbeiderne brukt båt til adkomst. Anleggsarbeiderne hang i tau eller sto på stillas festet med bolter i berget ved begynnelsen av arbeidet. Strekningen Trengereid-Evanger ble de første årene bare trafikkert i dagslys vinterstid på grunn av skredfaren. Jernbanen førte til stor omstilling i Vossebygdene ved at fersk melk kunne selgest i Bergen, skifer til tak kunne lett selges ut av bygda, og tømmer, som tidligere måtte fløtes ned til fjorden, kunne skjæres til ferdige planker og bord før videre salg.