Noen innbyggere i Newport var motstandere av festivalen. Jazzverdi var ikke vanlig i det etablerte overklassesamfunnet, og festivalen brakte mange yngre musikkfans til Newport. Mange fremmøtte var studenter som i mangel av tilstrekkelig losji sov utendørs hvor de kunne, med eller uten telt. Newport var først ikke vant til dette. Trafikkstopp og annen krangel i nærheten av lokalet i sentrum var legitime bekymringer. Dessuten var mange av musikerne og fansen deres afroamerikanere. Rasistiske holdninger var sannsynligvis også en faktor i noen innbyggeres motstand mot festivalen, slik det ofte var over hele landet på den tiden.