Lord Dufferin era descendiente de un prominente familia de terratenientes de origen escocés que se asentaron en el Condado de Down, en la Isla de Irlanda.