Aunque no regresó a la política, sí habló para criticar fuertemente al grupo terrorista racista Ku Klux Klan; a pesar de que éste grupo era el heredero espíritual de la ideología esclavista que Breckinridge había defendido en el pasado, él se oponía a los métodos criminales con los que luchaban contra los negros afroamericanos y los blancos del Norte.