Etter å ha blitt informert at hans svigerdøtre var involvert i utroskap med to riddere, i henhold til en del kilder fikk han vite dette av sin egen datter Isabella, skal han etter sigende ha grepet to av dem på fersk gjerning i 1313, og fikk alle tre låst inne i fengsel. Margareta (1290–1315), hustru til hans eldste sønn og arving, Ludvig (1289–1316), hadde født kun en datter, og farskapet til denne piken, Johanna, ble da betvilt. Ludvig ble da uvillig til å løslate sin hustru og fikk arrangert et nytt ekteskap med sin kusine, Clemence d'Anjou (1293–1328), og da Margareta svært så hendig døde i 1315 kunne han raskt gifte seg på nytt. Clemence var gravid da han selv døde et år senere etter et ubemerket regime. Usikker på hvordan man skulle arrangere etterfølgelsen (de to fremste kongsemnene var Ludvigs datter Johanna, mistenkt løsunge, og Ludvigs yngre bror Filip (1293–1322), grev av Poitou), satte franskmennene opp et regentskap under greven av Poitou og håpet at Clemence vil føde et gutt. Dette viste seg å være tilfellet, men gutten, Johan (1316), som ble født som konge, døde etter kun fem dager og etterfølgerkrisen fortsatte.