Stephen Foster var sønn av William Barclay Foster (1779–1855) og Eliza Clayland Tomlinson (1788–1855). Faren var først forretningsmann, seinere offentlig tjenestemann og politiker (blant annet som medlem av delstatsforsamlinga i Pennsylvania). Ekteparet hadde ti barn, og Stephen var den nest yngste. William Foster hadde også en sønn fra før ekteskapet, William jr., som etter hvert blei en viktig del av familien. Familien var i utgangspunktet velstående, men kom i økonomiske vanskeligheter i 1826, omtrent da Stephen blei født. Etter dette måtte de flytte flere ganger, men de opprettholdt en viss livsstandard på grunn av støtte fra William jr., som arbeida med utbygging av jernbanenettet.