Ellen Gould Harmon y su hermana gemela Elisabeth nacieron el 26 de noviembre de 1827 en una granja (ahora conocida como "Fort Hill Farm") cerca de Gorham, Maine, una aldea situada a unos 19 km al oeste de la ciudad de Portland, en el noreste de los Estados Unidos.