Han spilte i Count Basie-bandet 1953–64, og komponerte blant annet låta «Shiny Stockings» fra 1955. Foster mente selv han drev med hard bop.