Musikalsk orienterte Zelter seg mot J.S. Bach og Georg Friedrich Händel. Han skrev symfonier, kantater, motetter, kormusikk og lieder – ikke minst en rekke tonesettinger til dikt av Johann Wolfgang von Goethe. De ble kjent i Weimar 1802, og det utviklet seg et nært vennskap mellom dem. Under en korrespondanse som varte i over 30 år sendte Goethe ofte dikt som Zelter tonesatte lieder til.