W 1314 roku, na skutek "skandalu w wieży Nesle" (jej siostra Blanka i ich daleka kuzynka Małgorzata Burgundzka za romanse z braćmi d'Aunay zostały uwięzione w Château Gaillard), Joannę ogolono na łyso i ubrano w worek, po czym uwięziono w zamku Dourdan. Hrabinę uznano za winną zatajenia romansu swoich szwagierek. Odzyskała wolność pod koniec 1314 roku dzięki naciskom męża i matki.