Etter å ha delvis vokst opp i Sveits med sine jødiske foreldre, begynte Gordon studier i fysikk og matematikk i 1913 ved Universitetet i Berlin. Disse ble avbrutt da han måtte delta i første verdenskrig. Under veiledning av Max Planck fikk han sin doktorgrad der i 1921 med et arbeid i teoretisk fysikk. Dette resulterte i at han ble assistent for Max von Laue de følgende årene med et kortere opphold hos William Lawrence Bragg i Manchester. I 1926 fikk han en stilling ved Universitetet i Hamburg hvor han fikk sin habilitasjon i 1929 og ble professor samme sted året etterpå.