Фостър сам се е научил да свири на кларинет, китара, флейта и пиано. Той не е имал официално обучение по композиция, но му е помогнал Хенри Клебер (1816-1897), търговец на музика от немски произход в Питсбърг.