Steuben erhielt seine Ausbildung im elterlichen Hause sowie auf den Gymnasien in Eisenach und Erfurt. Am 11. April 1843 trat er als Musketier in das Sachsen-Weimarschen Kontingent ein und avancierte bis Mitte Februar 1846 zum Sekondeleutnant. 1848 nahm Steuben am Feldzug gegen Dänemark teil. Als Premierleutnant wurde er im März 1850 Bataillonsadjutant und Anfang Januar 1858 Führer der 5. Kompanie. Am 31. Juli 1858 folgte mit der Beförderung zum Hauptmann die Ernennung zum Kompaniechef. Während des Deutschen Kriegs war Steuben nicht aktiv an Kampfhandlungen beteiligt, sondern gehörte der Besatzung der Bundesfestungen Mainz und Ulm an.