Den Coleman Hawkins-inspirerte Berry var tidlig med i New York Citys jazzmiljø, som medvirkende i orkestre ledet av Benny Carter, Teddy Hill (1933–35), Fletcher Henderson (1936) og Cab Calloway på Cotton Club (1937–41). Han var også med i Count Basies band en kort tid, samt utvalgt til Metronome All-Stars band (1937–38). Berry skrev komposisjoner som (til Henderson).