W 1305 poślubił kuzynkę swego ojca, 15-letnią księżniczkę burgundzką Małgorzatę (córkę Roberta II i Agnieszki Francuskiej). W kwietniu 1314 na rozkaz króla Filipa została ona aresztowana razem z pozostałymi jego synowymi. Małgorzatę i Blankę (żonę najmłodszego brata Ludwika, Karola) oskarżono o romans z braćmi d'Aunay. Rycerze na torturach wyznali, że ich romanse z Małgorzatą i Blanką trwały od 1311. Schadzki miały odbywać się w wieży Nesle. Żony Ludwika i Karola skazano na więzienie w Château-Gaillard. Joannę, żonę Filipa, uznano za winną zatajenia romansu swoich szwagierek i uwięziono na ponad pół roku w zamku Dourdan. Waltera i Filipa d'Aunay skazano na śmierć przez kastrację, obdarcie ze skóry i spalenie na stosie w Pontoise.