Etter oppveksten i Detroit ble den autodidakte Thompson med i Erskine Hawkins' band som ankom Manhattan, der Thompson debuterte (erstatning for Ben Webster) ved Three Deuces (1943). Han ble med i band og innspillinger ledet av Slam Stewart, Lionel Hampton, Billy Eckstine, Count Basie (1944–46), Dizzy Gillespie, Charles Mingus og Thelonious Monk. Senere ledet han egne ensemble med platedebut (1953), samt var i Milt Jacksons orkester (1956) og hadde kunstneropphold i Frankrike, spesielt i miljøet ved Nice og Lausanne (1968–).