Kleppe ble suspendert i 12 måneder fra FrP i mars 2001. Han meldte seg ut av partiet samme år. Etter en kort periode i Det Liberale Folkeparti stiftet han og andre ekskluderte FrP-medlemmer partiet Demokratene i 2002. Han var leder for partiet 2002–2012.