Aufgrund seiner schlechten Gesundheit und seiner früher erworbenen topographischen Kenntnisse des Südens wurde Smith nach dem Kriegsausbruch 1861 zunächst als technischer Offizier in die Festung Monroe geschickt, um Aufklärungsarbeit rund um Yorktown zu leisten. Mit dem Rang eines Obersts (vom 16. Juli 1861) nahm er mit den Freiwilligen des 3. Vermont Infanterie-Regimentes der Unionsarmee an der Ersten Schlacht am Bull Run teil. Unter Oberbefehl von Generalmajor Irvin McDowell wurde er am 13. August 1861 zum Brigadegeneral befördert und kommandierte die erste Brigade des Vermont-Regimentes. Zunächst Kommandeur der zweiten Division des IV. Corps, zeichnete er sich besonders in der Schlacht am White Oak Swamp aus. Im Juni 1862 wurde er zum Oberstleutnant und am 4. Juli 1862 in den Rang eines Generalmajor befördert. Er führte infolge eine Division im Rahmen des VI. Corps, während des Feldzuges der Army of the Potomac auf der Halbinsel und im Maryland-Feldzug. Seine Truppen kämpften am 17. September 1862 in der Schlacht am Antietam. Nachdem sein Korpskommandeur Generalmajor William B. Franklin wegen Konfrontation mit dem Oberbefehlshaber Ambrose Burnside den Schauplatz verlassen hatte, wurde Smith an der Spitze des VI. Corps gestellt, das er am 13. Dezember in der Schlacht von Fredericksburg kommandierte. Nach dieser Niederlage beschwerte er sich zusammen mit William B. Franklin brieflich bei Präsident Abraham Lincoln über die schlechte Operationsführung von General Burnside. Diese Indiskretion und die Tatsache, dass er ein enger Freund von George B. McClellan war, führten schließlich zu seiner Abberufung.