Am 8. Mai 1860 erfolgte seine Kommandierung als Kompanieführer zum 13. kombinierten Infanterie-Regiment, aus dem sich zum 1. Juli 1860 das 5. Westfälische Infanterie-Regiment Nr. 53 formierte. Rosenzweig erhielt das Kommando über die 9. Kompanie, die er 1864 im Krieg gegen Dänemark bis zu seiner schweren Verwundung bei der Belagerung und Erstürmung der Düppeler Schanzen führte. Er wurde mit dem Kronen-Orden III. Klasse mit Schwertern ausgezeichnet und stieg Anfang Juni 1864 zum Major auf. Nach dem Friedensschluss wurde er am 18. August 1865 Kommandeur des II. Bataillons und am 4. April 1866 Kommandeur des Füsilier-Bataillons. Während des Deutschen Krieges führte er dieses Bataillon 1866 bei der Mainarmee in den Kämpfen bei Dermbach, Neidhardshausen und Zella, Kissingen, Waldaschaff, Aschaffenburg, Tauberbischofsheim und Gerchsheim sowie der Beschießung von Würzburg. Für sein Wirken mit dem Roten Adlerorden IV. Klasse mit Schwertern ausgezeichnet, wurde Rosenzweig Ende März 1868 zum Oberstleutnant befördert.