Ballard var sønn av musikkforleggeren Robert Ballard. Broren var ved det franske hoffet. Ballards luttlærer var farens fetter og forretningspartner, forleggeren og luttenisten Adrian Le Roy.