I 1968 overtok Schwarz og hans gamle tegnelærer Lars Hjalmar "Frosse" Frosterud (1930–2000) ansvaret for å arrangere Visfestivalen i Västervik, som ble etablert i 1966 av gymnasistforeningen . Fra 1978 till sin død var Schwarz eneansvarlig for festivalen.