Hans berømmelse startet som vokalist fra India under den andre verdenskrig, hvorpå han ble med i Jay McShann's orkester (1945–51) og spilte inn sin signaturhit (1949). Han sang også med jazzorkestre og ga ut (1959), turnerte Europa (1961) og sågar besøkte Moldejazz (1964). Han spilte ellers med Count Basie, Duke Ellington og Gerry Mulligan. Witherspoon ga også ut (1992).