Goldsmith mestret pianoet allerede som seksåring, og i en alder av 14 år studerte han komposisjon og musikkteori. Blant hans mentorer var Jacob Gimpel og Mario Castelnuovo-Tedesco. Goldsmith gikk på University of Southern California med en annen filmmusikk-komponist som lærer, nemlig Miklós Rózsa, som har skrevet musikken til blant annet Ingrid Bergmans fra 1945. Det var også her Goldsmith hentet sin inspirasjon til å skrive filmmusikk, sterkt påvirket av Rózsa.