Hammonds første produksjon var med pianisten Garland Wilson i 1931, som skulle bli den første av en lang rekke vellykkede produksjoner. Han flyttet til Greenwich Village, og arrangerte der noen av de første faste jazzarrangementene, og engasjerte seg mot rasisme. Han bidro til å organisere Benny Goodmans band, og overtalte ham til å leie afroamerikanske musikere som Charlie Christian, Teddy Wilson og Lionel Hampton. I 1933 hørte Hammond den 17 år gamle Billie Holiday opptre, og skaffet kontrakt og arrangerte snart etter hennes første innspillinger (Hammond var da såvidt fylt 22 år). I 1937 fikk han Count Basies orkester og overtalte dem til å komme fra Nashville til New York, der de snart slo igjennom og gjorde nasjonal suksess.