Vossa Jazz ble første gang arrangert i 1974, den samme helgen som Verdenscupen i alpint ble arrangert på Voss. Tanken var at ski og jazz passer sammen. Initiativtakere var en ung vennegjeng (de yngste var 17-18 år gamle) med Lars Mossefinn og Asle Haaland i spissen; Mossefinn og Haaland ble inspirert av Montreux jazz festival som de besøkte sommeren 1973 og opplevde Miles Davies og Dexter Gordon. Jan Garbarek, Frode Thingnæs, Laila Dalseth, Lars Klevstrand, Ketil Bjørnstad Georg Johannesen, Cecilie Løveid og May Waldon opptrådte første året. Dexter Gordon og Johnny Griffin opptrådte i 1982. Van Morrison opptrådte i 1988 og under pressekonferansen skjelte han journalistene for å stille dumme spørsmål. Etter 1986 har festivalen alltid blitt arrangert i palmehelgen. Fra 2007 har Trude Storheim vært festivaldirektør.