Andover begynte som en angelsaksisk landsby, men bosetningen i området går lengre tilbake. Ikke langt unna ligger bygdeborgen Danebury fra jernalderen, og fra romersk Britannia finnes en romersk villa ved Fullerton.