Hans foreldre fikk Jacobi til å studerte arkitektur ved Georg-August-Universität Göttingen (diplom i 1829), og han arbeidet en tid ved Potsdams bygningskontor. Mens han arbeidet med byggesaker, begynte å han å studere elektrisitet og magnetisme, og leste verker av André-Marie Ampère og Michael Faraday. I 1833 fikk han praksis i Königsberg i daværende Østpreussen, der hans yngre bror Carl Gustav Jacobi var en ledende professor i matematikk. Her begynte han å vende sin oppmerksomhet mot fysikk og kjemi. I 1835 ble han utnevnt til professor i byggekunst ved Universitetet i Tartu i Estland, hvor han ble gift med Anna Grigorjewna Kochanowskaja. I 1835 ble Jacobi tildelt æresdoktorgrad ved universitetet i Königsberg.