Em Abril de 1314, uma visita da sua irmã Isabel de França despoletou o escândalo da Torre de Nesle: Margarida da Borgonha, esposa do seu irmão Luís, e Branca da Borgonha, esposa de Carlos, foram acusadas de adultério.