Am 9. März 1864 wurde er im Rang eines Generalmajor reaktiviert, wieder in den aktiven Dienst zurückgeführt und dem XVIII. Corps unter General Benjamin Franklin Butler am James River zugewiesen. Sein Corps war Teil der Hauptarmee unter George Meade und nahm an der Schlacht von Cold Harbor teil. Smiths Korps unterstand auch eine Division schwarzer Truppen unter General Edward W. Hinks, welche versuchen sollten, die Stadt Petersburg zu nehmen. In Erinnerung an das Debakel bei Cold Harbor entschied sich Smith für eine ausreichende Aufklärung. Bevor seine erste Angriffslinie nicht ausreichende Artillerieunterstützung erhalten hatte, wollte er keinen Angriff wagen. Er beschrieb General Butler auf dem Schlachtfeld als "so hilflos wie ein Kind und als Visionär im Rat." Am 19. Juli 1864 wurde er schließlich vom Kommando über das XVIII. Corps abberufen.