Halltorp vokste fram rundt Halltorps kyrka, som er en festningskirke fra 1100-tallet. Den ligger ved et gammelt veikryss, hvor veien mellom Söderåkra, Halltorp og Voxtorp møtes mellom kysten og skogen. Halltorpselva var trolig også farbar ganske langt innover på den tiden. På begge sider av elva kan man i dag se fornminner fra bronsealderen og jernalderen. I 1899 ble jernbanelinja Kalmar-Torsås innviet, og da ble Halltorp en stasjon på linja.