Da den nye hertug nektet ham skogen Le Gâvre som belønning for sin innsats og i stedet gav skogen til John Chandos, lot Olivier borgen Le Gâvre tive, for å bruke materialet derfra til å bygge en donjon noen kilometer mot sør, i Blain. Johann V beslagla derpå hans herrskap Châteauceaux, fordi han mente – ikke minst fordi Olivier i 1370 hadde ervervet herrskapet Josselin – var blitt for mektig for ham.