Em Abril de 1314, uma visita da sua cunhada Isabel de França despoletou o escândalo da Torre de Nesle: a sua irmã Branca da Borgonha, esposa do príncipe Carlos de França, e Margarida da Borgonha, esposa do príncipe Luís de França, foram acusadas de adultério. Joana da Borgonha, amiga íntima das duas, foi inocentada das acusações de adultério mas, envolvida no caso por ter cohecimento e guardado segredo das infidelidades das outras princesas, foi encarcerada na fortaleza de Dourdan. No mesmo ano Filipe IV morreu e foi sucedido por Luís X.