Harmon tenían una familia de ocho hijos y pocos años después del nacimiento de Ellen y su hermana, la familia se mudó a Portland, en donde su padre se dedicó a la fabricación de sombreros.