Opprinnelig ble banen benevnt Grevskapsbanen eller Jarlsbergbanen, etter navnet på amtet den gikk gjennom. Strekningen Drammen–Larvik ble åpnet 13. oktober 1881, mens strekningen Larvik–Skien åpnet 23. november 1882, det hele som smalsporet bane. Hele strekningen ble konvertert til normalspor i 1949, som den siste i landet, og ble elektrifisert i 1957 som en av de siste i landet.