Am 12. Mai 1813 trat Rommel als Sekondeleutnant in die Russische-Deutsche Legion ein und kämpfte in den Gefechte bei Pellahn, an der Göhrde, bei Sehestedt sowie bei Wavre. In der Schlacht bei Ligny erwarb er das Eiserne Kreuz II. Klasse. Am 1. Juli 1814 wechselte er in preußische Dienste. Dort kam er am 31. März 1815 in das 31. Infanterie-Regiment versetzt. Am 20. Juni 1822 wurde Rommel zum Hauptmann befördert sowie zum Kompaniechef. Ab 1825 kommandierte er das Lehr-Infanterie-Bataillon. Am 12. März 1835 wurde er zum Major befördert. König Friedrich Wilhelm III. erhob Rommel am 16. April 1838 in den erblichen preußischen Adelsstand. Am 30. März 1840 folgte seine Ernennung zum Kommandeur des I. Bataillons im 31. Landwehr-Regiments und in dieser Stellung wurde Rommel am 22. März 1845 zum Oberstleutnant befördert. Am 25. Juni 1846 erhielt er den Roten Adlerorden IV. Klasse. Am 27. März 1847 beauftragte man ihn mit der Führung des 20. Infanterie-Regiments und am 13. Januar 1848 wurde er zum Kommandeur dieses Verbandes ernannt. Im Ersten Schleswig-Holsteinischen Krieg kämpfte er 1848 im Gefecht bei Husby. Am 10. Mai 1848 wurde er Oberst und am 19. September 1848 bekam er für Husby den Orden Pour le Mérite.