Jane era la menor de los cuatro hijos de Charles Elgee (1783-1824), un abogado del Condado de Wexford, y su esposa Sarah, hija de Thomas Kingsbury, comisario de quiebras.