Hans datter Margot, som støttet opp om sin ektemann det krav Johann av Blois, greve av Penthièvre og visegreve av Limoges, hevdet på hertugdømmet, pådro seg med dette Oliviers raseri. Han forutsa: – altså at hun ville bli sine barn undergang. Og faktisk skulle det bli slik at to av hennes sønner skulle senere bli henrettet på grunn av en oppstand mot hertugen, en tredje ble innesperret i fangehullet for 25 år. Johann VI, som i 1404 hadde overtatt rejeringsmakten, foretok sjikanøse tiltak mot Olivier de Clisson. Han ville konfiskere all hans eiendom på grunn av en rettssak so,m Olivier forsøkte å anlegge mot ham. Olivier var på dette tidspunkt dsøende, og godtok bare i helt siste øyeblikk et finansielt kompromiss.