Holst studerte komposisjon (for Charles Villiers Stanford) og basun ved i London. Deretter arbeidet han mellom 1898 og 1903 som basunist i forskjellige orkester. Han var pedagog og virket som musikklærer ved St Paul's Girls' School i Hammesmith i London fra 1905 og ved Morley College fra 1907; han opprettholdt begge oppgavene frem til sin pensjonering. Han underviste dessuten i sang ved Wycombe Abbey School fra 1912 til 1917.