Foster hadde ingen formell musikkutdannelse, men lærte seg å spille fløyte, klarinett, fiolin, piano og gitar. Som tenåring fikk han undervisning av musikkhandleren Henry Kleber (1816–1897), en tysk immigrant med klassisk skolering.