Era hijo de Anthony Ashley Cooper, conde de Shaftesbury y Lady Dorothy Manners, hija del conde de Rutland.