Byggingen av Rallarvegen startet i 1890-årene, og første strekning som sto klar, var veien fra Raundalen til Upsete i 1895, vest for Gravhalsen tunnel. Veien fra Flåm til Myrdal og Hallingskeid sto klar i 1898, og i 1902 var veien bygget helt frem til Haugastøl. Byggingen ble i stor grad utført som manuelt arbeid. På grunn av snøforholdene ble arbeidet utført i sommermånedene, fra juni til oktober. I starten ble materialer trukket opp på fjellet med hest fra Granvin, Flåm og Hallingdal. Etter hvert som jernbanen stod klar, ble jernbanen brukt til å transportere materiale. Langs jernbanen ble det anlagt anleggsbrakker, hestestaller, vannverk, telefonlinjer og kraftverk. Det er anslått at det var rundt 2400 menn (rallare) i arbeid på fjellet.