A construção da ferrovia começou em 1897, um ano após a Etiópia assegurar sua independência contra o imperialismo italiano ao vencer a Batalha de Adwa, que concluiu a Primeira Guerra Ítalo-Etíope. Antes da construção da ferrovia, eram necessárias seis semanas para viajar da costa até Adis Abeba por camelos e caravanas de mulas. A Ferrovia Etíope-Djibutiense tornou o Império Etíope mais acessível ao mundo exterior, melhorando sua competitividade econômica e militar. Várias cidades cresceram ao longo da linha férrea devido às oportunidades ampliadas de comércio. A ferrovia serviu como principal ligação de transporte da Etiópia até a década de 1950, quando começou a enfrentar a concorrência do transporte rodoviário.