Вилларе-Жуайёз был произведён в вице-адмиралы. Вернувшись во Францию, он вышел в отставку и решил заняться политикой. В 1796 году был избран депутатом Совета пятисот. В Совете он присоединился к роялистам и после 18 фрюктидора вместе с другими членами этой партии был сослан на остров Олерон, где провёл три года.