Con el tiempo sería propiedad de los Silva y Mendoza, duques del Infantado y de Pastrana.