响力的女性是情妇阿涅丝·索蕾，查理对她的爱强烈且公开，甚至认可她为王室情妇，为法国国王册封官方情妇开了先例。不过查理的嫡长子路易不断反抗父亲的权威，要求更多的实权，但都遭查理拒绝。1446年，查理的么子，未来的贝里公爵夏尔出生，查理便将王太子放逐到多菲内，路易便在此进行自治，甚至在1456年逃到勃艮第公国接受好人菲利普的庇护，父子未曾再见面。
病逝.1458年，查理开始出现腿部疼痛等类似糖尿病的病征，并受到感染严重发烧。查理将路易从勃艮第召回，但路易不但拒绝，甚至请来占星家帮他