Durante mucho tiempo se había creído que el nombre provenía del pedregal que llegaba hasta los Baños del Carmen, formado por las canteras de la torre de San Telmo, de las que se extrajeron las piedras del puerto a finales del XIX, y que provocaron la voladura parcial del cerro de San Telmo en 1880, con la aparición de grandes rocas.