Goldin ble tildelt en grad innenfor Bachelor of Science som maskiningeniør fra City College of New York i 1962. Han begynte på sin karriere ved NASA dette året. Goldin satt som administrerende direktør for NASA under presidentene George H.W. Bush, Bill Clinton og for en kortere periode under president George W. Bush. Den 17. november 2001, aksepterte daværende president George W. Bush, Goldin sin avgang som administrator for NASA.