Foster nació en Lawrenceville, que sería más adelante parte de Pittsburgh, Pennsylvania, y era el más joven de diez hijos de una familia relativamente acomodada.