Ballard comenzó su carrera como guitarrista de la banda Buster Meikle & The Day Breakers en 1961, junto a su hermano mayor Roy Ballard en el piano y Bob Henrit en la batería.