Området ble en gang bebodd av algonkintalende urbefolkning (Montaukett-klanen), men etter Pequotkrigen i 1638 ble eiendomsretten gradvis ervervet av nybyggerne. Blant dem skal Lion Gardiner ha kjøpt et område for 24 økser, 24 kapper, 20 speil og 100 syler. En av øyene utenfor the Hamptons, Gardiner Island, eies fortsatt av familien Gardiner.