Han debuterte med broren Hank og Sonny Stitt (1942) før tjenestegjøring i den andre verdenskrig. Derpå spilte Jones i Count Basies band (1954–1963) og medvirket på utgivelser med Charles Mingus (1954–55). Han komponerte en tid (1963–66), blant annet , og hadde arrangøroppdrag for Harry James's orkester. Med Mel Lewis ledet han eget orkester, også kjent som «The Vanguard Orchestra», fast husband på Village Vanguard i New York (1965–1978), mottaker av flere utmerkelser blant annet fra Down Beat, og med utgivelser som , , og .