Katz studierte zunächst an der University of North Carolina Musik, bevor er sich 1942 zur Kriegsmarine meldete, wo er an der Schlacht um Saipan beteiligt war. Nach dem Ende des Zweiten Weltkriegs zog er nach New York City, wo er für die Anzeigenagentur seines Vaters arbeitete und 1948 mit Ben Webster spielte. Daneben studierte er am "Peabody Institute", an der "Manhattan School of Music" (Musiktheorie und Komposition) und hatte an der "Juilliard School" Klavierstunden bei Teddy Wilson.