I begynnelsen av 1804 hørte Napoléon Bonaparte, som da var førstekonsul og leder i Frankrike, rykter som da var blitt oppdaget av politiet og som syntes å koble den unge hertugen med en konspirasjon som ble ledet av Georges Cadoudal og Charles Pichegru. Ryktene sa at hertugen var i selskap med Charles François Dumouriez og at han foretok hemmelige reiser til Frankrike.