Han utmerket seg som baseballspiller i unge år, men avslo en proffkontrakt for å satse på en karriere i næringslivet. Han var bokholder og senere administrerende direktør i Gold Seal Company, et lite firma som produserte bonevoks, og som under Kleppes ledelse ble markedsledende. Han kom også med i flere frivillige organisasjoner.