Elefantøya har antagelig fått sitt navn etter sin elefanthodelignende form og av elefantselene som ble sett på øya av kaptein i 1821.