Rapp pochodził z biednej protestanckiej rodziny, jego ojciec był zamiataczem w ratuszu w Colmar; w domu mówiło się po niemiecku. Zaczął się kształcić w szkole parafialnej z zamiarem zostania pastorem, ale jego mocny, wybuchowy charakter predestynował go do kariery wojskowej. Zaczynając jako zwykły szeregowy w pułku "chasseurs de Cévennes", przeszedł wszystkie szczeble kariery, aż po stopień generała dywizji i adiutanta Napoleona Bonaparte. Reputację budowała mu szaleńcza odwaga oraz rany, jakie odnosił w bitwach. Jako pierwszy uczynił go swym "aide de camp" Louis Desaix, dzięki któremu otrzymał stopień kapitana i odznaczył się w czasie wyprawy do Egiptu, gdzie pod Sediman zdobył nieprzyjacielską baterię. Za ten wyczyn został dowódcą szwadronu, a wkrótce brygady z rozkazu Napoleona.