Entrambi i fratelli di Henry lavorarono in India. Il maggiore, George Udny Yule (1813–1886), lavorò nella pubblica amministrazione del Bengala. L'altro fratello, Robert (1817–1857), morì vicino a Delhi durante la rivolta indiana. Lo statistico Udny Yule era il figlio di George e quindi il nipote di Henry.