Øya er kjent fra gamle tider som , det kan ha bodd folk der så tidlig son det 2. hundreår f.Kr. Navnet (i.e. "ilha do Elefante") ble først sett på 1500-tallet av portugisiske oppdagere etter at de så en stor basalt skulptur av en elefant nær inngangen til en hule. De hadde bestemt seg for å ta den hjem til Portugal, men måtte oppgi tanken da de mistet den på sjøen fordi de ikke hadde sterke nok kjettinger. Senere ble skulpturen berget av britiske kolonister og flyttet til Victoria and Albert Museum (nå Dr. Bhau Daji Lad Museum) i Mumbai. Denne øya var en gang hovedstad i et mektig lokalt kongedømme.