利奥波德三世在第二次世界大战期间的角色以及利奥波德与玛丽·莉莲·拜尔斯的婚姻受到质疑，他成为了有争议的君主。查理于1983年6月1日在奥斯坦德逝世，被埋葬在布鲁塞尔的拉肯圣母教堂，他的哥哥利奥波德三世则晚几个月逝世。在遗嘱中，他将法国皇后约瑟芬·德·博阿尔内的钻石王冠留给了妹妹义大利王后玛丽·荷塞。