Han startet sin musikerutdanning allerede ved Dillard High School i Fort Lauderdale, Florida. Foreldrene flyttet til Tallahassee, Florida da foreldrene fikk lærerstillinger ved Florida A&M University. Både Cannonball og broren Nat spilte med Ray Charles da han bodde i Tallahassee tidlig på 40-tallet.