Katz ble født i Brooklyn, New York. I 1928 flyttet familien til St. Albans, Queens. Fra 1946 til 1949 studerte han ved The Cooper Union i New York, og fra 1949 til 1950 studerte han ved Skowhegan School of Painting and Sculpture i Skowhegan, Maine. Hans første separatutstilling var i 1954, med en utstilling av malerier ved Roko Gallery i New York. I 1974 viste Whitney Museum of American Art en serie trykk under tittelen , etterfulgt av en mobil utstilling av hans tidligere kunst i 1986; . Hans første utstilling utenlands var i 1995 med som ble vist ved Staatliche Kunsthalle i Baden-Baden, Tyskland.