Su tío, Charles Ormsby, era un miembro del Parlamento Irlandés (que fue abolido en 1801); Sir Robert McClure, un primo, fue quien descubrió el Paso del Noroeste; su único hermano, John Elgee, era uno de los miembros más distinguidos del American Bar.