Posteriormente, pasó a manos de la familia Albornoz y finalmente, los Reyes Católicos crearon un extenso señorío que llaman «del Infantado» y hacen donación en favor de don Diego Hurtado de Mendoza, primer duque del Infantado.