Kleppe ble født i Bjørnskinn på Andøya i Nordland i 1928, som sønn av løytnant Jon Kleppe (1882–1934) og husmor Alvhild Bergljot Caroliussen (1897–1980), og vokste opp på farsgården Stovreim i Bjørnskinn kommune.