Für die Dauer der Mobilmachung anlässlich des Krieges gegen Frankreich erhielt Rosenzweig das Kommando über das 2. Rheinische Infanterie-Regiment Nr. 28. Als Oberst führte er diesen Verband bei Gravelotte, Amiens, an der Hallue, bei Berteaucourt, Arras, Saint-Quentin sowie vor Metz und Péronne. Ausgezeichnet mit beiden Klassen des Eisernen Kreuzes wurde er am 29. März 1871 für das Friedensverhältnis zum Regimentskommandeur ernannt. Unter Stellung à la suite seines Regiments beauftragte man ihn am 15. September 1875 mit der Führung der 36. Infanterie-Brigade in Rendsburg, ernannte ihn am 15. Oktober 1874 zum Kommandeur dieser Brigade und beförderte ihn Ende des Monats zum Generalmajor. Am 9. Oktober 1880 mit der Führung der 4. Division in Bromberg beauftragt, wurde Rosenzweig am 18. Oktober 1880 zum Divisionskommandeur ernannt und in dieser Eigenschaft Mitte November 1880 zum Generalleutnant befördert. Anlässlich des Ordensfestes erhielt er im Januar 1883 den Stern zum Roten Adlerorden II. Klasse mit Eichenlaub und Schwertern am Ringe und wurde am 17. Oktober 1883 als Gouverneur nach Köln versetzt. Dort erhielt er am 23. September 1884 den Kronen-Orden I. Klasse mit Schwertern am Ringe. Unter Verleihung des Charakters als General der Infanterie wurde Rosenzweig am 18. Januar 1887 mit Pension zur Disposition gestellt. Er starb am 4. März 1893 in Potsdam.