Il Festival fu fondato nel 1963 dal compositore Lou Harrison e dai collaboratori della comunità musicale di Santa Cruz, nel campus del nuovo Cabrillo College appena fuori Santa Cruz ad Aptos, in California. Il primo direttore musicale fu Gerhard Samuel. Il Festival divenne rapidamente famoso, grazie in parte alla statura di Harrison e alla partecipazione di noti compositori come John Cage e Aaron Copland. Tra i successivi direttori musicali ci sono stati il compositore messicano Carlos Chávez, il direttore Dennis Russell Davies e il compositore americano John Adams. Alla fine degli anni '70 il Festival si era affermato come un'organizzazione indipendente non affiliata al Cabrillo College. Dopo il devastante terremoto di Loma Prieta che causò gravi danni intorno a Santa Cruz nel 1989, il Festival si stabilì nel centro di Santa Cruz e la maggior parte delle manifestazioni del Festival dal 1989 hanno avuto luogo all'Auditorium Civico di Santa Cruz o alla missione San Juan Bautista a San Juan Bautista, California.