Двамата са също така замесени в Скандала с кулата Нел през 1314 г., започнат от сестрата на Филип, Изабела Френска. Жана Бургундска е обвинена в съучастничество в прелюбодеянието на Маргьорит и Бланш Бургундска, съпруги съответно на Луи Наварски и Шарл дьо ла Марш. Според обвинението Жана не само знае и подпомага прегрешенията на балдъзите си, но дори и взема участие в тях. Трите са затворени, Маргьорит и Бланш в Шато Гаяр, а Жана при по-леки условия в Дурдан. След дълги съдебни процеси се достига (не без помощта на Филип) до извода, че Жана е невинна, тя е освободена и ѝ е позволено да се върне в Двора.