Byen ligger i Sønderjyllands lengste tunneldal. Øst for byen ligger Haderslevfjorden og vest for byen ligger Haderslevdammen. Haderslev ble omtalt av Saxo Grammaticus allerede i begynnelsen av 1200-tallet, og i år 1292 fikk den kjøpstadsrettigheter. Bosetning i det området som byen idag strekker seg over, daterer seg imidlertid enda lenger tilbake i tid. Funn fra vikingtiden ved kirken i Starup antyder dette. Haderslev ble skapt der hvor fjorden kunne krysses i nærheten av veien fra Danmarks eldste by, Ribe, til ferjestedet ved Årøsund hvor det siden middelalderen hadde vært ferjetrafikk til Fyn. Under «den tyske tiden», det vil si i perioden 1864–1920, ble det anlagt en rekke jernbanelinjer som tilsammen ble kalt Haderslevs jernbaner.