首飾り事件
ところが1782年、ゲメネ公は突如として次々に個人的・政治的不幸に襲われた。まず、肺結核を患った愛人のディロン伯爵夫人と死に別れた。さらに、詐欺的な商法を扱う公証人マルシャンの助言で始めた年金事業の利息が支払い不可能になり、3300万リーヴルという莫大な債務を負ったまま破産した（ロアン＝ゲメネ破産事件）。ゲメネ公夫妻は宮廷の役職を退き、ヴェルサイユを去った。夫妻は持ち家であるパリ・の本邸やモントルイユの別邸を含む資産の大部分を売却した。モントルイユの屋敷と所領はルイ16世の好意で王室買い上げとなり、その後、王妹マダム・エリザベートに譲渡された。ロアン一族は強い結束力を示し、ゲメネ公夫妻の作った借金を必死になって返済しようとした。しかしゲメネ公夫妻の転落はロアン家の宮廷における勢力凋落を意味し、このためゲメネ公の父方叔父ルイ・ド・ロアン枢機卿は国王夫妻の寵を得ようと必死になり、結果として枢機卿を巻き込んだ首飾り事件の発生に影響したと考えられている。