Wilson voks opp i Alabama, var i «Speed Webb» med broren Gus Wilson trombone (Detroit, 1929), før han erstattet Art Tatum i Milt Seniors band (Ohio). Deretter var han i Louis Armstrongs orkester (Chicago, 1932) og Benny Carters «Chocolate Dandies» (New York City, 1933), før han ble med i Benny Goodman's band (1935–39). Han medvirket på utgivelser med Willie Bryants band (1934–35), samt Billie Holiday, Lena Horne, Ella Fitzgerald og Lester Young. Senere ledet han eget storband (1939), egen sekstett på «Cafe Society» (1940–44), egen trio, samt var husmusiker for CBS. Han jobbet siden som foreleser ved The Juilliard School (1945–52), ellers som frilans, og turnerte med Goodman i Sovjet (1962). Mot slutten var han i trio med sine sønner Teddy bass og Steven trommer.