På tiden da europeere kom til øya var den bosatt av raritanstammen (oppkalt etter elven Raritan River) som tilhørte den unamispråklige delen (et utdødd språk eller dialekt av algonkinske språk) av indianerstammen Lenape (kalt for Delawareindianere av europeere). Øya var dekket av stier hvor en av dem fulgte sørsiden av ryggen i nærheten av dagens veger Richmond Road og Amboy Road. Lenapene levde ikke i faste hus, men flyttet med årstidene og benyttet seg av landbruk kalt svedjebruk. Skalldyr var en vesentlige del av deres føde. Bevis på deres bosetning kan fortsatt bli sett i form av møddinger bestående av levninger av skalldyr langs kysten av Tottenville.