Однако уже в октябре 1795 года роялисты организовали так называемый Вандемьерский мятеж, который первоначально грозил обернуться успехом. В обществе распространилось мнение, что генерал Раффе не проявил достаточную бдительность и даже тайно сочувствовал роялистам. Поэтому, после подавления мятежа генерал Раффе был отстранён от должности, а в 1797 году, во время очередного переворота даже арестован, во второй раз.