Wilson ble født i Shelby i Mississippi 4. september 1918. Wilson ble med i Jimmie Lunceford Orchestra i 1939, og erstattet samtidig stjernetrompetisten og arrangøren Sy Oliver. Mens han var med Lunceford, bidro han med nummer til , inkludert «Hi Spook» og «Yard-dog Mazurka».