Kleppen var i en rekke år også lensmann i Hjartdal. Stillingen som lensmann arvet han fra sin far. Det er fortalt at han som lensmann tok en heddøl som alltid var blant bråkmakerne og mest bar han ut fra dyrskuplassen. Han var også mangeårig medlem av herredstyret, derav i 6 år som ordfører og hadde en lang rekke kommunale og andre offentlige tillitsverv. Han representerte Bratsberg amt på Stortinget i 2 perioder, fra 1900 til 1906. Han var også formann i Landbruksselskapets styre i 25 år. Han reiste også i sin tid spørsmålet om opprettelse av Telemark Skogselskap.