Kleppe ble i 1989 utnevnt til kommandør med stjerne av St. Olavs orden. Han ble også tildelt en rekke andre lands ordener og var innehaver av storkors av den portugisiske Kristusordenen fra 1978, Det jugoslaviske flaggs orden med gullstjerne i halsbånd (3. klasse) fra 1987, storkors av Finlands løves orden fra 1988, storkors av Den islandske falkeorden fra 1988 og storkors av den svenske Nordstjerneordenen fra 1988.