בשנה שלאחר מכן התמודד וילרואה מול הדוכס ממרלבורו בארצות השפלה. בעיותיו של מרלבורו עם ההולנדים והנציגים האחרים של הברית הגדולה מנעו את האסון מבחינת וילרואה במשך זמן מה, אך ב-1706 תקף מרלבורו והביס את וילרואה ללא תנאי בקרב ראמיאי. לואי ניחם את ידידו הוותיק, אך בכל זאת החליף אותו בפיקוד על הצבא, ומאותה עת וילרואה חי חיים של איש חצר ושמר על ידידותו עם לואי אף על פי שנחשד במספר מזימות פוליטיות.