Franck studerte i Heidelberg og Berlin (under Paul Drude og Heinrich Rubens), og ble belønnet med en doktorgrad i 1906. I 1911 ble han dosent i fysikk i Berlin, i 1918 medlem av Kaiser-Wilhelms-Institut für physikalische Chemie, og i 1920 professor i eksperimentell fysikk ved Universitetet i Göttingen. Etter den nasjonalsosialistiske maktovertakelsen i 1933 flyttet han til USA etter ett års opphold hos Niels Bohr i København, og ble der en del av Manhattanprosjektet.