Su origen sudista jugó un papel controvertido en sus opiniones políticas a pesar de que siempre se manifestó en contra de la esclavitud; el padre de Keller era un sudista «típico» y afirmó hasta el final de su vida que los negros no eran personas.