Goldman var født i Chicago, Illinois og vokste opp hovedsakelig i Highland Park, Illinois, en forstad til Chicago. Etter å ha fått sin studentgrad fra Universitetet i Chicago ble han innkalt og tjenestegjorde i den amerikanske hæren. Han kom senere inn på Columbia University i New York City hvor han studerte musikkvitenskap, men besluttet etterhvert for å bli forfatter. Han giftet seg med Barbara Goldman, en produsent og senere hans agent, i 1971.