En el siglo XV fue levantado el edificio actual, a instancias de Diego Hurtado de Mendoza y Luna, que heredó de su padre el título de Duque del Infantado, uno de los que ostentaba la casa de Mendoza.