Le , Walker est promu brigadier général et après la campagne de Gettysburg est affecté à la division du major-général Henry Heth du troisième corps d'armée de l'armée de Virginie du Nord, d'abord commandant d'ancienne brigade de Heth, puis la brigade du brigadier général James J. Archer, après la blessure grave d'Archer. Walker sert en tant que commandant de la brigade, sous les ordres de Heth jusqu'à ce qu'il perde son pied gauche lors de la bataille de Spotsylvania Court House le . Il participe à la bataille de Bristoe Station le , à la bataille de Mine Run et, après avoir servi dans la vallée de Shenandoah au cours de l'hiver 1864-1864, lors de la bataille de la Wilderness avant sa blessure à Spotsylvania Court House.