Kramer tok doktorgrad i musikkvitenskap ved University of California, Berkeley i 1969; han var bl.a. student av Karlheinz Stockhausen. Han var professor i komposisjon og musikkteori ved Columbia University fra 1988 til sin død i 2004. Han arbeidet mye med temporalitet i musikk og med postmoderne musikk, og er særlig kjent for boken . Han rakk akkurat å skrive ferdig boken før han døde, men den ble først utgitt i 2016. Ved Columbia University er to stipender oppkalt etter ham.