Eenmaal aangekomen bij het Army of Northern Virginia kreeg hij het bevel over een infanteriebrigade van veteranen in de divisie van Jubal A. Early. In mei 1864 raakte hij gewond tijden de Slag in de Wildernis en werd naar huis gestuurd om te genezen. In de herfst keerde hij terug in actieve dienst en diende met onderscheiding als divisiecommandant in de Veldtochten in de Shenandoahvallei van 1864 onder Early. Na de desastreuze Slag bij Cedar Creek keerden de overlevenden, waaronder Pegram, terug naar het Army of Northern Virginia waar ze in de loopgraven vochten tijdens de Richmond-Petersburgveldtocht.