Después de graduarse en 1942, fue reclutado para el servicio militar y sirvió en el extranjero en el Tercer Ejército de Estados Unidos bajo el mando de George Patton. Prescindieron de sus servicios en la Batalla de las Ardenas cuando se apuntó voluntario para tocar el piano en un concierto de la Cruz Roja; tuvo tanto éxito que le ordenaron montar una banda. Por ende, creó una de las primeras bandas de integración racial de la armada de Estados Unidos, The Wolfpack. Durante el servicio militar conoció a Paul Desmond, a principios de 1944. Después de cuatro años en el ejército, volvió a estudiar, en esta ocasión en el Mills College del área de la Bahía de San Francisco con el profesor Darius Milhaud, quien le animó a estudiar fuga y orquestación, pero no piano clásico.