Jefferson lernte Gitarre, Tuba und Schlagzeug, begann schon mit acht Jahren zusammen mit seinem Bruder Stepptanz und spielte zunächst in der Band seines Vaters und mit Gesangsgruppen z. B. auf der Weltausstellung in Chicago 1933. Er begann als Stepptänzer, der 1939 mit Auftritten in der Band von Coleman Hawkins bekannt wurde, in denen er Hits der Solisten des Count-Basie-Orchesters (wie Lester Young, Herschel Evans) tanzte. 1946 setzte er seine Karriere als Tänzer fort und tanzte z. B. 1950 im Duo „Billie and Eddie“ bei Auftritten von Sarah Vaughan. Ende der 1940er Jahre machte er auch durch seinen Gesang auf sich aufmerksam. Auf Platte erschien seine Vocalese-Kunst (in der das Spiel von Jazzinstrumenten stimmlich nachgeahmt wird) zuerst 1951 („Body and Soul“ nach der Version von Coleman Hawkins, bei Spotlite erschienen aber auch Live-Aufnahmen von 1949). Mit seinem Text zu „In the Mood for Love“ landete King Pleasure 1952 einen Hit. Der Bassist King Pleasure hörte ihn in Cincinnati und imitierte ihn in New York, gab aber bereitwillig zu, dass Jefferson seine Quelle war, was auch Jefferson dann zu Plattenaufnahmen verhalf (wie sich dieser später dankbar erinnerte).