Il la mène pendant la campagne de Gettysburg, où la brigade participe aux attaques sur Culp's Hill. Walker reçoit le surnom de pour ses actions. Il est sévèrement blessé à la bataille de Spotsylvania en 1864 et renvoyé chez lui pour récupérer. Après la mort du brigadier général John Pegram pendant la campagne de Petersburg, Walker est affecté au commandement de la division qui avait été commandée par Jubal Early. Il la dirige jusqu'à la reddition à Appomattox.