Han var bror til Hollywood-skuespilleren Ernest Cossart og far til komponisten og dirigenten Imogen Holst, som skrev en biografi om ham i 1938.