Oliver startet å spille Jazz i New Orleans i 1908, og på den tiden var han medlem av band som The Olympia, The Onward Brass Band, The Original Superior and the Eagle Band. Han jobbet ofte i Kid Orys band og i 1917 fikk han kallenavnet «King» av lederen i bandet.