En la época de las infames barriadas de Londres, en la que muchos británicos sufrían una pobreza abyecta, Bax y su hermano Clifford Bax disfrutó de una educación privilegiada —Lewis Foreman, escribiendo para Chandos Records, habla sobre la formación de Bax, explicando que no necesitaba un trabajo remunerado, ya que su familia le proveía del suficiente dinero como para hacer lo que quisiese).