El nombre actual fue acuñado en el siglo por los portugueses, en alusión a los elefantes de piedra que adornaban el puerto de entrada a la isla, que fueron retirados y actualmente están expuestos en el museo Victoria and Albert de Bymulla.