Den eldste strekningen er de 11 kilometrene fra Kristinehamn til Sjöändan, som ble åpnet i 1850. Til å begynne med var det hester som trakk vognene, det første damplokomotivet kom i 1858. Banen var smalsporet fram til 1873, da normalspor ble anlagt fram til Storfors. Den nyeste strekningen er forbindelsen mellom Arvidsjaur og Jokkmokk fra 1937, hvis vi ser bort fra en linjeommlegging mellom Filipstad og Persberg som ble tatt i bruk i 1964. Store deler av banen ble anlagt mens Sverige fortsatt var i union med Norge. Inlandsbanan skulle blant annet bidra til å lede handel inn i Sverige fra grensetraktene i stedet for ut til Norge.