El origen del nombre Vejer es incierto y existen varias teorías al respecto. Una de las teorías sugiere que el nombre proviene del árabe "Beger", que significa "cerro" o "montículo", en referencia a la colina sobre la que se asienta el pueblo.