Hay conocimiento de que alrededor del año 1550 las obras se estaban desarrollando bajo la dirección de los Castillo, una afamada familia de canteros jienenses.