Etter oppvekst med den vaudeville-turnerende musikalske «Sims Family», der broren Ray Sims (trombone) senere ble kjent, ble han på 1940-tallet med i orkestre ledet av Benny Goodman (1943, 46–47, 50), Artie Shaw og Stan Kenton før han gikk inn i US Army (1944–46). Derpå spilte han var han en av «Four Brothers» i Woody Hermans band (1948-49) før han skapte sin egen og forøvrig spilte mye med Gerry Mulligan og Al Cohn, med sistnevnte i «Cohn/Zims Quintet» (1957-) som ga ut meget og var fast på klubben Half Note i New York.