Nässjö fikk sine byrettigheter i 1914, men byens egentlige historie strekker seg tilbake til 1864 da det ble besluttet å anlegge jernbane, ‘Södra stambanan’, ved byen som siden har vært kjent som et viktig jernbaneknutepunkt. Nässjö er i dag det eneste stedet i Sverige hvor seks ulike jernbanelinjer møtes. Byens første jernbanestasjon var også den første offentlige bygning i byen, tegnet av Adolf W. Edelsvärd, som også deltok aktivt i byplanleggingen og utformingen rundt stasjonsområdet.