Las primeras obras de su construcción se datan en 1491 sobre el solar de la antigua mezquita aljama o mayor de la ciudad a iniciativa del , Pedro Díaz de Toledo y Ovalle.