Posteriormente la propiedad fue ostentada por el Duque de Sesa, Marqués de Valenzuela, Marqués de Sástago y finalmente Marqués de Portago.