John Williams ble født i Floral Park, New York. I 1948 flyttet familien til Los Angeles, California, der han gikk på North Hollywood High School og senere University of California. Han studerte i tillegg komposisjoner med Mario Castelnuovo-Tedesco, som forøvrig også lærte opp en annen berømt filmmusikkomponist, nemlig Jerry Goldsmith.