Zelter var sønn av en murer og ble selv murermester. Ved siden av arbeidet som murerlærling studerte han musikk på egen hånd. Han ble medlem av Karl Theophil Döbbelins orkester og gikk i 1791 inn i som hans lærer og mentor Carl Friedrich Christian Fasch nettopp hadde grunnlagt. Zelter overtok ledelsen da Fasch døde i 1800 og ble i 1806 utnevnt til æresmedlem. I 1809 ble han professor ved .