Jones begynte å spille piano allerede som liten gutt, og ble etterhvert organist i sin lokale kirke. Han var fascinert av klassisk musikk (Rachmaninov var en favoritt), men også av blues og jazz. Da han begynte på college begynte han å spille bass.