W 1314 roku Małgorzata wraz z żonami pozostałych synów króla Filipa IV Pięknego: siostrami Joanną Burgundzką i Blanką Burgundzką, została aresztowana z polecenia swego teścia. Małgorzata i Blanka zostały oskarżone o romans z rycerzami, braćmi d'Aunay. Schadzki kochanków miały odbywać się w wieży Nesle (sprawa przeszła do historii jako skandal w wieży Nesle) od 1311 roku. Filipa i Waltera d'Aunay poddano torturom a następnie skazano na śmierć przez kastrację, obdarcie ze skóry i spalenie. Małgorzatę i Blankę osadzono w Chateau-Gaillard, gdzie przebywały w bardzo trudnych warunkach. Joannę uznano za winną zatajenia prawdy o romansie swoich szwagierek i potraktowano łagodniej; zamknięto ją w zamku Dourdan na ponad pół roku.