1604 erreichte er, dass sein dritter Sohn Antoine Potier de Gesvres als sein Nachfolger vorgesehen sehen wurde ("Secrétaire d’État en survivance"). Auch nach dem Tod Heinrichs IV. 1610 blieb Louis Potier im Amt, überließ es nun aber häufiger seinem Sohn und erschien nur noch bei Beratungen, wenn es absolut notwendig war. Der Tod Antoine Potiers am 13. September 1621 bei der Belagerung von Montauban zwang ihn jedoch, sich wieder stärker seinen Aufgaben zu widmen. Er trat wenig später zugunsten seines Neffen Nicolas Potier, Seigneur d‘Ocquerre, zurück, der am 15. Oktober 1622 das Amt übernahm, aber 1628 bei der Belagerung von La Rochelle ebenfalls starb. Louis Potier selbst starb am 25. März 1630 und wurde in der Prieuré de Raroi in Crouy-sur-Ourcq bestattet.