Durch die Militärkonvention wurde Klein am 10. Oktober 1868 als Major und Kommandeur des Jäger-Bataillons Nr. 14 in den Verband der Preußischen Armee übernommen. Mitte Juni 1869 avancierte er zum Oberstleutnant und Ende März 1870 erfolgte seine Versetzung als Kommandeur des Füsilier-Bataillon im 2. Schlesischen Grenadier-Regiments Nr. 11 nach Breslau. Zu Beginn des Krieges gegen Frankreich wurde er in der Schlacht bei Vionville am Kopf verwundet und nach den Schlachten bei Gravelotte und Noisseville übernahm Klein für den gefallenen Kommandeur Karl von Schöning am 9. September 1870 die Regimentsführung. In der Folge nahm er an den Kämpfen bei Artenay sowie vor Metz teil und wurde bei Orleans zweimal verwundet.