Elaine Lorillard arrangerte festivalen for første gang i 1954. Hun og ektemannen Louis Lorillard finansierte den i mange år. De hyret inn George Wein til å organisere den første festivalen og ta jazzen til Rhode Island.