Tras la muerte del último duque Borja, sus posesiones pasarán a los Pimentel y después a los Osuna, con los que Potríes, al igual que muchos otros pueblos, mantendrá un largo pleito por su independencia señorial, amparándose en las leyes desvinculadoras de 1814, emanadas de las Cortes de Cádiz.