Tanto españoles como portugueses utilizaban las islas como un lugar para abastecerse de carne fresca y de agua, pero las leyendas de espíritus y demonios, que ahora se piensa surgieron de los cantos estridentes de las aves (muy probablemente del de Bermudas), junto con el fuerte ruido en la noche de los cerdos salvajes y el constante estado tormentoso (los primeros visitantes llegaron bajo esas condiciones) y un peligroso anillo de arrecifes, les impidió realizar cualquier asentamiento permanente en la Isla de los Diablos.