Hankøs høyeste punkt ligger i dag 55 moh. Det vil si at Hankø lå under vann da isen forsvant (for ca. 10– år siden). Havet sto da 180 m høyere enn i dag. Ca. 4– år før Kristus kom dette punktet frem i vannskorpen. Det finnes 7 gravrøyser fra bronsealderen (1.500–500 f.Kr), hvor en hellekiste er plassert i midten. Den første kilden som viser bosetting på øya er et kart fra 1776 der to husmannsplasser er avmerket. En plass er nord på øya i Apalviken og en sør i Hankøhavna, «Hankø Plads». Den første faste bosetting på øya må ha skjedd en gang mellom 1723 og 1776. I 1801 bodde det to familier på øya; en familie på hver plass og hver familie med 5 medlemmer. Utover begynnelsen av 1800-tallet har det så blitt opprettet en husmannsplass til på sletten der hotellet ligger. Denne plassen fikk navnet «Setra». I 1865 bodde det tre familier på de tre plassene med et samlet folketall på 18 personer. To av husfedrene er nevnt som husmann, men trolig er nok alle husmenn under Elingaard.