En 1456, en el cerro de San Cristóbal, se inician las obras de construcción del castillo que duraron aproximadamente hasta 1468, pues en 1472 don Juan Pacheco contrae terceras nupcias con doña María Velasco de la cual no hay ni un solo escudo en el castillo.