Se cree que el actual nombre del cerro provendría del siglo XVIII debido a la utilización del cerro como cantera de piedra blanca para la construcción de diversas obras de arquitectura, como los pilares del Puente de Calicanto o la iglesia de Santo Domingo.