1943 wurde er in die Armee eingezogen. Zu Beginn des Militärdienstes hatte er Gelegenheit, an der University of California Vorlesungen bei Arnold Schönberg zu besuchen. Dann diente er in George Pattons Dritter Armee während der Ardennenschlacht. Er spielte in einer Band, die er kurzfristig – vor allem mit afroamerikanischen Musikern – zusammenstellte, und gewann schnell Bekanntheit und Anerkennung. Nach drei Jahren Militärdienst kehrte er zum Mills College zurück und studierte 1946 ein halbes Jahr bei Darius Milhaud, der ihn ermutigte, sich nicht nur mit klassischem Klavier, sondern auch mit Kontrapunkt und Arrangement zu beschäftigen. Milhaud charakterisierte ihn als „Einzelgänger, der seinem eigenen, unkonventionellen Weg folgte, entsprechend einem inneren Drang, der ihm keine Ruhe ließ.“ Außerdem wandte er seine Aufmerksamkeit wieder dem Jazz zu.