Po upadku cesarza pozostał w służbie czynnej jako dowódca II Korpusu. 16 marca 1815 odmówił księciu de Berry wykonania rozkazu zatrzymania marszu Napoleona na Paryż i wrócił pod sztandary cesarza na przeciąg Stu Dni, jako dowódca 20-tysięcznego V Korpusu (Armia Renu) operującego na granicy Niemiec. W dziesięć dni po bitwie pod Waterloo (w której jego korpus nie brał udziału), spotkał wojska sprzymierzonych koło Strasburga i pokonał je w bitwie pod La Suffel. Po ostatecznej abdykacji Napoleona składał kilkakrotnie rezygnację, ale nie została ona przyjęta. Rapp został 13 maja deputowanym do parlamentu z departamentu Haut-Rhin, a 2 czerwca parem Francji. W 1819 został ministrem skarbu króla Ludwika XVIII.