Fra 1957 og utover jobbet Walker som vokalist og gitarist sammen med sin søster Judy, som duoen John og Judy. Søsknene spilt inn flere singler mellom 1958 og 1962. Walker opptrådte også i forskjellige nattklubber i Los Angeles. Walker dannet The Walker Brothers (opprinnelig kalt The Walker Brothers Trio) i 1964, med seg selv som vokalist og gitarist. Walker har utgitt sin selvbiografi . The Walker Brothers ble splittet opp i 1968, kort tid etter en turné i Storbritannia i 1967. Han turnerte Storbritannia igjen i 2009.