Den 21. september 1305 ektet han Margaret av Burgund (1290–1315). Med henne fikk han en datter, den senere Johanna II av Navarra. I 1313 anklaget Ludvig sin hustru for utroskap og holdt henne fengslet på Chateau-Gaillard til hun døde to år senere, muligens myrdet. Hennes påståtte elsker ble torturert og sendt i eksil. Den 13. august 1315 giftet han seg med Clémence av Anjou (1293–1328), søster av Karl I av Ungarn.