El 4° Señor, don Antonio Álvarez de Toledo y Dávila, se trasladó a vivir a Madrid, donde murió, sin sucesión, en torno al año 1630.