Mandado construir por Juan Quiñones y Guzmán, obispo de Calahorra, se comenzó la obra en 1560 bajo la dirección de Rodrigo Gil de Hontañón.