De Forest nació en 1873 en Council Bluffs, Iowa, pero creció en Talladega, Alabama, donde habían enviado a su padre, ministro religioso, para reorganizar una escuela negra.