Det er gården i nord, Vanse prestegard, som har gitt tettstedet navn. Vanse var det gamle navnet, men da garden ga navn til både sokn og prestegjeld, ble det vanlig å bruke Vanse prestegard – eller bare Prestegard. Vanse var bygdesentrum, men det var det forholdsvis lite bebyggelse. De gamle husmannsplassene lå spredt over et stort område. Folketallet holdt seg i overkant av hundre fra folketellingen 1845 og fram til 1900.