I Overland kampagnen i 1864 fik Smith kommandoen over XVIII Korps i generalmajor Benjamin Butlers Army of the James, som han førte i Slaget ved Cold Harbor og i de første operationer under Belejringen af Petersburg. Smiths korps og en division af sorte tropper (under Edward W. Hinks) blev berordret til at tage byen. Da han huskede fiaskoen ved Cold Harbor gennemførte Smith en omfattende recognoscering. Han fastslog at en del af forsvarslinien alene bestod af artilleri, og beordrede et angreb. Imidlertid blev angrebet forsinket og mellemtiden blev han betænkelig ved et rygte om, at Lee var på vej til at indfinde sig med sin hær. Han mistede modet, måske på grund af de voldsomme konfødererede befæstninger, måske på grund af sin jævnligt tilbagevendende malaria, men hans tøven var skyld i, at en mulighed for at forkorte krigen med næsten et år gik tabt. Den 19. juli 1864 blev han frataget kommandoen over XVIII Korps og tilbragte resten af krigen med "særlige opgaver".