John Williams ble født i Melbourne i Australia. Han har en engelsk far, Len Williams,som senere ble grunnleggeren av London Guitar School. Williams har også australsk-kinesisk mor (datter av den kjente Melbourne-advokaten William Ah Ket). I 1952, returnerte familien til England. Williams ble undervist først av sin far, og fikk utdannelse ved Friern Barnet Grammar School i London. Da han var elleve år gikk han på sommerkurs med Andrés Segovia ved Academia Musicale Chigianai i Siena i Italia. Senere gikk han på Royal College of Music i London fra 1956 til 1959 og studerte piano fordi skolen ikke hadde gitaravdeling på den tiden. Etter eksamen ble han tilbudt muligheten til å skape en slik gitaravdeling. Med tanke på kjærligheten han hadde for instrumentet, grep han sjansen og drev avdelingen de to første årene.