Cannonball rakk å bli en lokal legende i Florida før han flyttet til New York City i 1955, der han bodde i Corona i bydelen Queens. Det var i New York som karrieren virkelig skjøt fart. Adderley besøkte (Oscar Pettifords gruppe spilte den kvelden) og tok med seg saksofonen (først og fremst fordi han var redd den skulle bli stjålet). Han ble spurt om han ville spille siden saksofonisten var sent ute, og gjorde kort og godt braksuksess.