Uheldigvis falt bandet fra hverandre i 1924, og Oliver startet å gjøre duetter med pianisten Jelly Roll Morton. Senere tok han over bandet til Dave Peyton i 1925, og navnga det The Dixie Syncopators. Oliver flyttet bandet til New York i 1927.