1705年にネーデルラントへ戻り引き続き防衛線を固めたが突破され（エリクセムの戦い）、翌1706年にルイ14世の指示を受けて防衛線奪還のため進軍した。だが、ラミイの戦いでバイエルン選帝侯マクシミリアン2世と共にマールバラ公に大敗、攻勢を阻止されたばかりかネーデルラント全土も制圧され、他の戦線にも悪影響を及ぼすまでになってしまった。この事態を受けたルイ14世によって更迭され、ヴァンドームに交替させられた。以後は出陣することなく廷臣として過ごし、1717年から1722年まで幼いルイ15世の養育係を務めた。1730年にパリで死去、長男のルイ・ニコラがヴィルロワ公位を継いだ。