I 1921 hadde Allen et eget orkester i St. Louis med blant annet Gene Sedric, Walter Thomas, Johnny St. Cyr, og Popes Foster. I 1924–1925 spilte han hos Earl Hines i Chicago, og reiste så på turne med showet hans, blant annet i New York. I 1925 møtte Allen sin etter hvert største samarbeidspartner, Clarence Williams, som han senere ville spille inn over 70 plater med. I årene 1927 til 1929 satt Allen i Leroy Tibbs orkester i Connies Inn i New York, der han bosatte seg i sine siste år.