Han var far til den britiske diplomaten og sinologen Herbert Giles. Han hadde også en annen sønn, som gikk inn i , og to døtre.