Festivalen i 1964 var den siste på Freebody Park, siden arrangementet også hadde vokst ut av det stedet. Festivalarrangørene så et behov for å flytte festivalen utenfor sentrumsområdet, siden de dramatiske hendelsene i 1960 gjorde festivalen omstridt. Et passende sted, et enkelt, men stort felt, som skulle bli kjent som Festival Field ble valgt, og flyttingen ble fullført før 1965-festivalen. Frank Sinatra spilte festivalen det året, og nye besøksrekorder ble satt. Festival Field forble arenaen for jazzfestivalen frem til 1971.