Han ble født i Kristiania, men flyttet med familien til Bergen som seksåring og tok examen artium her i 1941. Videre hadde han sosialøkonomisk embedseksamen fra Universitetet i Oslo fra 1956. Kleppe var sekretær i Finansdepartementet 1952–1953, sekretær i Statistisk sentralbyrå 1953–1954, sekretær i Forskningsrådenes fellesutvalg 1954–1957, heldagssekretær i Den finanspolitiske komité 1962–1963, avdelingssjef ved EFTA-sekretariatets økonomiske avdeling i Genève 1963–1967, utredningssjef ved Arbeiderbevegelsens utredningskontor 1967–1971 og 1972–1973 samt generalsekretær i EFTA 1981–1988. Etter sin tid i EFTA var han tilknyttet Forskningsstiftelsen Fafo, hvor han deltok i utredningsarbeid og aktuelle politiske debatter.