Su construcción fue iniciada por el primer Duque del Infantado y finalizada por su hijo, Don Iñigo López de Mendoza, participando Juan Guas de su construcción.