Kleppe startet sin politiske karriere på 1980-tallet da han var medlem av Kristiansand formannskap og bystyre i periodene 1987–1991, 1995–1997 og 2003–2007. Han var medlem av Vest-Agder fylkesting 1995–1997 og 2003–2011. Han begynte sin rikspolitiske karriere da han ble innvalgt på Stortinget i 1989. Han markerte seg på 1990-tallet som en restriktiv innvandringspolitiker både i FrP og i norsk politikk og måtte i august 1999 tåle å få helt øl i håret to ganger med få dagers mellomrom under besøk på utestedet Tostrupkjelleren, først av redaktør for Norsk journalistlags fagblad «Journalisten», Jan Otto Hauge, deretter av visesangeren Lillebjørn Nilsen.