Tras dejar a Dorsey, Oliver continuó trabajando por libre como arreglista, siendo especialmente recordados su trabajo para el disco de Frank Sinatra "I Remember Tommy" y su labor como director musical de Decca Records.