Toen zijn korpscommandant, generaal-majoor William B. Franklin bevorderd werd, kreeg Smith het bevel over het VI Corps van het Army of the Potomac, maar hij leed een nederlaag in de Slag bij Fredericksburg. Bevelhebber generaal-majoor Ambrose Burnside stelde het ontslag van Smith en andere generaals voor, maar president Abraham Lincoln ontsloeg Burnside.