Jimmy Jones ludis komence gitaron kaj transiris poste al piano. Li laboris ekde 1936 en diversaj okestroj en Ĉikago kaj vekis atenton en la triopo de Stuff Smith, al kiu li apartenis ekde 1943 ĝis 1945. Post tio li laboris kun Don Byas, Dizzy Gillespie en 1945, J. C. Heard en 1945/47, Buck Clayton en 1946 kaj Etta Jones. Ekde 1947 li fariĝis akompanmuzikisto de kantistino Sarah Vaughan. Li laboris kun ŝi ĝis 1952, post iom longa malsaneco denove ekde 1954 ĝis 1957. En la jaro 1954 li ankaŭ kunverkis ŝian mitan albumon kun Clifford Brown kaj akompanis ŝin je ŝia koncertaro en Eŭropo aŭtunon de ĉi tiu jaro. Tiutempe ankaŭ okazis lia kunlaboro kun Brown, Helen Merrill kaj Gil Evans. En 1959 li akompanis kantistinon Anita O'Day je ŝia prezentado sur la Novporta Ĵazfestivalo, en 1959 ankaŭ la kantistinojn Dakota Staton, Pat Suzuki kaj Morgana King.