Walker è nato nel quartiere di Hall Green a Birmingham, in Inghilterra. Suo padre Graham fu un messaggero militare e in seguito motociclista per la Norton Motorcycle Company, con cui partecipo al Tourist Trophy, e fu direttore vendite del settore corse per la Rudge-Whitworth Motorcycle company. Walker studiò alla Highghate School e nella seconda guerra mondiale frequentò la Royal Military Academy Sandhurst, prima di essere destinato al reggimento dei Royal Scots Greys. Al comando di un carrarmato Sherman partecipò alla operazione Reischwald con la Quarta Brigata Meccanizzata della British Army.