Anlegget av banen ble startet 1905 i Dar-es-Salaam, som på den tiden var hovedstad i Tysk Østafrika. Det var det andre jernbaneprosjektet etter Usambarabanen, der byggingen ble startet 1893. I begge prosjektene ble meterspor valgt. Traséen fulgte et stykke de gamle karavanerutene til Tabora. 1907 hadde strekningen nådd byen Morogoro, 200 km fra kysten, og 1909 Kilosa. 1. februar 1914 sto hele strekningen på 1252 km til Kigoma ved Tanganyikasjøen ferdig, dagen før første verdenskrig ble utløst. Etter noen mindre ombygninger på tilsammen 33 km langs strekningen ble den offisielt åpnet 15. mars 1914. Strekningens reisetid var knapt 58 timer ved åpningen, dagens rutetabell angir 40 timer.