Heiberg gikk tilbake til NSB i 1924 som generaldirektør og holdt den stillingen frem til sin avgang i 1938. Heibergs tid som leder av NSB kom til å bli svært vanskelig. 1920- og 1930-årene var en tid preget av økonomisk stagnasjon. Busser og lastebiler ble etterhvert en alvorlig konkurrent til jernbanen, som i flere år slet med kontinuerlig inntektssvikt. For første gang måtte NSB legge ned jernbanestrekninger. Trafikken på de nybygde banene ble heller ikke slik som prognosene tilsa. Fra 1924 til 1933 sank NSBs inntekter fra 103 til 64 millioner. Eivind Heiberg fikk derfor ikke noe godt ettermæle for sin ledelse av NSB.