En 1795, Klein era general de brigada en el ejército de Sambre-et-Meuse, donde reemplazó al ayudante general Michel Ney Klein fue nombrado general de división en 1799 y cruzó el Rin en Kehl en el Ejército del Danubio deJean-Baptiste Jourdan. Estaba al mando del flanco derecho de la Avanzada, bajo el mando de François Joseph Lefebvre. Su mando incluía el 4º y 5º Regimientos de Húsares, el 17º de Dragones, el 1º "Chasseurs à cheval", un regimiento de caballos ligeros, dos compañías de artillería a caballo, dos de artillería a pie y una compañía de zapadores. En la Batalla de Ostrach, la caballería de Klein ayudó a asegurar la aldea de Hosskirch, un puesto avanzado estratégicamente importante, antes del enfrentamiento general. Después de las derrotas francesas en Ostrach y la subsiguiente batalla de Stockach, Jourdan ordenó una retirada a la Selva Negra. La caballería de reserva y la mayor parte de la división de Klein cruzaron las montañas y se alojaron cerca de Offenburg, donde sus caballos podían encontrar mejor forraje. A pesar de la retirada organizada y las posiciones relativamente seguras en el lado occidental de la Selva Negra, el ejército estaba en ruinas. Jourdan puso a su jefe de estado mayor Jean Augustin Ernouf al mando provisional y viajó a París para quejarse de las condiciones de su ejército, su equipo y sus provisiones. La disciplina en las filas se esfumo. La mayoría de los generales de división dejaron sus puestos, excepto Pierre Marie Barthélemy Ferino, Joseph Souham, Dominique Vandamme y Klein. En mayo, Andre Massena recibió el mando general tanto del Ejército del Danubio como del Ejército de Helvetia; La columna de Klein se unió a Massena cerca de Zúrich.