899年分段动工兴建，由印度支那铁路公司（，CFI）负责兴建，这家公司是完全由殖民地政府和法国政府投资和营运的国营企业。1899年至1905年间首先建成河内至荣市段，1905年至1913年间建成了西贡至芽庄段，接着又在1913年至1927年间建成了荣市至顺化段，而距离最长的顺化至芽庄段则在1930年至1936年间建成。1936年10月2日，建设历时三十多年、全长1,726公里的南北铁路全线建成通车。南北铁路开通初期，从河内到西贡的单程旅行时间约为60小时，至1930年代末缩短到约40小时，列车平均运行速度约