Etter fullendte studier var han statssekretær i Finansdepartementet 1957–1962, og som utredningssjef ved Arbeiderbevegelsens utredningskontor fikk han ansvaret for å trekke opp linjene for Arbeiderpartiets økonomiske politikk. Deretter var han handels- og skipsfartsminister i Trygve Brattelis første regjering 1971–1972 og spilte en sentral rolle i forhandlingene om norsk medlemskap i EF. Kleppe var varamedlem av Arbeiderpartiets sentralstyre 1969–1981.