Para la Campaña Overland de 1864, Smith fue asignado por Grant para comandar el XVIII Cuerpo en el Ejército del James del General de División Benjamin Butler, que dirigió en la batalla de Cold Harbor y en las primeras operaciones contra Petersburg. El cuerpo de Smith y una división de tropas negras (bajo el mando de Edward W. Hinks) recibieron la orden de tomar la ciudad. Recordando el debacle de Cold Harbor, Smith realizó un exhaustivo reconocimiento. Determinando que la sección de la línea defensiva estaba compuesta principalmente por artillería, ordenó un ataque. Sin embargo, el ataque se retrasó y, mientras tanto, se mostró aprensivo ante un rumor que circulaba de que Lee estaba a punto de llegar. Perdió los nervios, quizás por el formidable carácter de las obras de la Confederación o quizás por un recurrente brote de malaria, pero su vacilación puede haberle hecho perder la oportunidad de acortar la guerra en casi un año. El 19 de julio de 1864, fue relevado del mando del XVIII Cuerpo y pasó el resto de la guerra en "servicio especial".