Jeremias bodde i Jerusalem fra 1910 til 1915, hvor faren Friedrich Jeremias var prost i den evangelisk-lutherske kirken. Etter å ha studert teologi og orientalske språk ble han og , og etter habilitasjonen i Leipzig i 1925 ble han professor og leder for Institutum Judaicum i Berlin. Fra 1929 var han professor i Greifswald. I 1935 flyttet han til Göttingen, hvor han ble værende til han gikk av.