Karl IV fikk raskt skilt seg fra sin utro hustru, Blanche av Burgund (ca. 1296–1326), søster av grevinne Johanna, og som heller ikke hadde født ham en sønn og hadde blitt holdt låst inne siden 1313. I hennes sted giftet han seg med Maria av Luxembourg (1304–1324), en datter av keiser Henrik VII av Det tysk-romerske rike (ca. 1275–1313). Maria døde i 1324 etter å født et dødfødt barn som i tillegg var en gutt. Han giftet seg da med sin kusine, Jeanne d'Évreux (1310–1371), men som kun fødte ham to døtre. Da han døde i 1328 var hans eneste barn Marie som han hadde fått med Johanna, og et ufødt barn som hans hustru var gravid med. Filip av Valois (1293–1350), greve av Anjou og Valois, og fetter av Karl, ble satt opp som regent. Da dronningen fødte datter framfor en sønn ble Filip av Valois valgt til den neste kongen, den første av huset Valois: Filip VI av Frankrike.