Walker ble født i Scunthorpe i Lincolnshire. Han mottok et LGSM-sertifikat i 1949, et ARCM i 1950, en bachelorgrad i musikk fra Universitetet i Durham i 1956 og en doktorgrad i musikk i 1965. Mellom 1957 og 1960 studerte han privat sammen med Hans Keller. Disse studietimene ble gjenopptatt da Walker møtte Keller ved BBC i 1961.