Elafónisos oli alun perin niemimaa, joka irtosi Peloponnesoksesta vuoden 365 jaa. maanjäristyksessä. Elafónisos on asutettu ensimmäisen kerran neoliittisella kaudella 3000-vuosituhannella eaa. muun muassa Víglassa, Léfkissä ja Káto Nisíssä sekä Pavlopétrissä saaren edustalta tehtyjen arkeologisten kaivausten perusteella. Toisen lähteen mukaan Elafónisos on asutettu vasta 2000- ja 1000-vuosituhansilta lähtien. Suurimman osan seuraavista vuosisadoista Elafónisos oli kuitenkin asuttamaton. Niemimaan ensimmäisinä asukkaina on pidetty lelegejä. Esihistoriallisena aikana Elafónisos oli tekemisissä Kytheran, Euboian, Kreetan ja Egeanmeren saarten kanssa. Elafónisoksella vaikutti noin vuosina 1600–1100 eaa. mykeneläinen kulttuuri, jonka aikana Panagían alueelle nykyiseen Káto Nisín kylään rakennettiin mykeneläinen kaupunki. Mykeneläisiä seurasivat muun muassa doorilaiset. Antiikin aikana Elafónisoksella palvottiin kreikkalaisen mytologian olympolaisia jumalia. Erityisesti palvonnan kohteena oli villin luonnon ja metsästyksen jumalatar Artemis, jolle oli niemimaalla oma temppelikin. Antiikin aikana Elafónisoksella harjoitettiin paljon metsästystä, sillä niemimaalla oli suuri saksanhirvipopulaatio. Juuri näistä eläimistä saari on saanut ”peurojen saarta” tarkoittavan nimensä. Näistä asioista on saatu tietää 100-luvulla eläneen kreikkalaisen maantieteilijän Pausaniaan kuvauksista sekä 1400-luvun venetsialaisista kartoista. Antiikin kreikkalaisen historioitsijan Thukydideen mukaan Elafónisoksella vastapäätä Kytheran saarta, mahdollisesti etelärannikon Léfkin alueella, sijaitsi ennen 500- ja 400-lukuja eaa. rakennettu Apollonin temppeli. Elafónisoksella on sijainnut myös meren jumala Poseidonin temppeli.