I 1927 startet han vokalksekstetten Comedian Harmonists (se egen artikkel) og i årene 1927-35 hadde han stor kunstnerisk og økonomisk suksess med dette ensemblet.