Klébers far var murer i Strasbourg, og Kléber viet seg først til bygningskunsten og begav seg i 1768 til Paris. Men i 1770 begynte han på noen bayerske offiserers oppfordring på militærskolen i München. Kléber ble offiser i østerriksk tjeneste i 1776, men tok på grunn av de dårlige utsiktene til avansement - han var av borgerlig, ikke adelig, bakgrunn - avskjed i 1783 og vendte tilbake til Alsace, for atter å egne seg til bygningskunsten.