Zimmermann studerte i Göttingen og ble professor i fysikk ved Carolinum i Braunschweig i 1766. Han gjorde vitenskapelige reiser til England, Italia, Frankrike, Sverige og Russland, adlet i 1796 og fikk 1801 tittelen "geheimeetatsråd". Han er også kjent som læreren til Carl Friedrich Gauss.