Hugh Henry Rose var sønn av diplomaten sir George Henry Rose (født 1771, død 1855) og sænnesønn til William Pitt den yngres betrodde venn og ministerkollega George Rose (født 1744, død 1818).