I henhold til den berbisk og muslimske geografen Ibn Battuta på 1300-tallet fikk fjellet sin navn Jebel Musa til å ære Musa bin Nusayr som erobret Andalucía (sørlige Spania). Fjellet var kjent av antikkens grekere som Abyla og av romerne som Columna. Sammen med Gibraltarklippen i nord er den identifisert som den ene av Herkulessøylene, skjønt det hevdes også om Monte Hacho i den spanske eksklaven Ceuta rett øst for dette fjellet.