I 1845 blev Smith udnævnt til sekondløjtnant i ingeniørkorpset. Han gjorde tjeneste i den Mexicansk-amerikanske krig og blev tre gange forfremmet. Han deltog i slagene ved Veracruz, Cerro Gordo, Contreras, Chrurubusco og Chapultepec. Mellem 1849 og 1854 underviste han i ingeniørvæsen på West Point. Derefter flyttede han i 1854 til New Orleans for at deltage i guvernør John A. Quitmans felttog mod fribytterne på Cuba. I 1856 rejste han til New York og var indtil 1858 chefingeniør for jernværket i Trenton. Derefter var han i 1858–1861 ansvarlig for vejvæsenet i New York.