Karl den stores holdning overfor sine døtre har vært emne for akademisk diskusjon. Han holdt dem hjemme hos seg selv og nektet dem å inngå ekteskap, skjønt han hadde gått med på en forlovelse mellom sin eldste datter Rotrude med bysantinske Konstantin VI, men dette ekteskapet ble avlyst. Karls motstand mot at hans døtre ble gift kan ha hatt sin årsak at han ville forhindre opprettelse av sidegrener av slekten som kunne utfordre hovedgrenen, slik som med tilfellet med Tassilo III av Bayern. Imidlertid tolererte han deres utenomekteskapelig forhold, belønnet deres samboere og var begeistret for de barnebarn han fikk, selv om de var illegitime. Klager på døtrenes såkalte ville eller uanstendige forhold nektet han å tro på. Etter hans død ble derimot de overlevende døtrene forvist fra hoffet av deres bror, Ludvig med tilnavnet «den fromme», og ble sendt av sted til klostre, som var egnet sted for kvinner man ikke vil se eller ikke hadde ektemenn. Minst en av Karls døtre, Bertha, hadde et anerkjent forhold, om ikke et ekteskap, med Angilbert, et medlem av Karls indre krets av rådgivere, og fungerte som hans sekretær og diplomat.