Gelb gikk på skole fra 1917 til 1925 i hjembyen Tarnów. Etterpå dro han til Firenze for å studere renessansekunst, men interesserte seg snart for Det nære østen og studerte fra 1926 Det nære østens språk i Roma. Etter eksamen i 1929 dro han til University of Chicago Oriental Institute. I 1947 ble han professor der, og forble det til han gikk i pensajon i 1980.