Oliver murió en la pobreza en una casa de huéspedes (508 Montgomery Street), el 10 de abril de 1938 a causa de la arteriosclerosis y fue enterrado en el cementerio de Woodlawn en el Bronx, Nueva York, donde se le unieron otros grandes del jazz como Coleman Hawkins, Lionel Hampton, WC Handy, Milt Jackson, Max Roach, y Miles Davis, entre otros.