Elefantøya har antagelig fått sitt navn etter sin elefanthodelignende form og av elefantselene som ble sett på øya av kaptein George Powell i 1821.