Cavignac uttalte som minister i 1898 sin overbevisning om Alfred Dreyfus' skyld, og var en av lederne for den nasjonalistiske gruppen i deputertkammeret. Dette standpunkt om Dreyfus var noe overraskende, i lys av den kunnskap han da hadde mottatt. I juli 1898 hadde han fått lese et dokument som definitivt syntes å inkriminere kaptein Alfred Dreyfus. Men den 30. august kunne han meddele at det var blitt avdekket at dette dokumentet var forfalsket, foretatt av oberst Henry. Han trakk imidlertid ikke den logisk følgeriktige konklusjon av sin egen avsløring. Selv etter å ha fratrådt sin stilling fortsatte han å fastholde sin overbevisning om Dreyfus' skyld.