El apelativo de "marrajos" responde, según la tradición, a que los pescadores que fueron los fundadores de la hermandad destinaron a los gastos de procesionar a su patrón, Jesús Nazareno, los fondos de la venta de un marrajo, un escualo que se puede encontrar en las costas mediterráneas, por lo que pasaron a ser conocidos como la ""cofradía de los marrajos"".