Da hertugen av Bourbon ble statsminister ble Belle-Isle fengslet i Bastillen, og så forvist til hjemstedet sitt. Da kardinal Fleury kom til makten fikk han tilbake en stilling i militæret som generalløytnant. I den polske arvefølgekrigen kommanderte han et korps under marskalk Berwicks. Han erobret Trier og Trarbach og tok del i beleiringen av Philippsburg (1734). Da det ble fred i 1736 ga kongen ham, både på grunn av militærtjenesten hans og fordi han hadde tatt del i forhandlingene om overføringen av Lorraine, styret over tre viktige festninger i Metz, Toul og Verdun - en stilling han hadde til han døde.