Han var også berømt for sin kjærlighet for sukker sandwicher, dette førte til problemer som gjorde det vondt å spille kornett. Og på toppen av det led han av en dårlig rygg. I 1929 overtok Luis Russell The Dixie Syncopators og byttet navn til Luis Russell and his Orchestra. Oliver fortsatte med innspillingen av plater til 1931, men han ble fort et glemt navn. Han fortsatte med turneer i sør med forskjellige grupper, helt til han ble blakk og slo seg ned i Georgia, hvor han jobbet som dørvokter til sin død i 1938.