Gustav Holst var den eldste av to barn av Adolph von Holst, som var yrkesmusiker, og hans hustru Clara Cox, født Lediard. Han stammet på farssiden fra en tyskbaltisk og latvisk-svensk familie. På morssiden var forfedrene overveiende britiske, men med et islett fra en spansk forfader.