Durante la Primera Batalla de Bull Run, Smith sirvió en el personal del General de Brigada Irvin McDowell. El 13 de agosto de 1861, fue nombrado general de brigada en el Ejército de la Unión después de ayudar a organizar la 1ª Brigada de Vermont. Fue nombrado teniente coronel en el ejército regular por su valentía en la Batalla de White Oak Swamp en las Batallas de los Siete Días. El 4 de julio de 1862, fue ascendido al rango de general de división en el Ejército de la Unión. Smith dirigió su división con un valor notorio durante la Batalla de Antietam, y fue ascendido otra vez en el ejército regular. Cuando su comandante, el general de división William B. Franklin, fue reasignado a un mando superior, Smith fue colocado al frente del VI Cuerpo del Ejército del Potomac, que dirigió en la desastrosa batalla de Fredericksburg.