Gmelin ble født i Tübingen som sønn av en apoteker. Han var et oppvakt barn og ble uteksaminert fra universitetet som lege i en alder av 18. I 1730 reiste han til St. Petersburg for å forelese ved universitetet der og året etter ble han utnevnt til professor i kjemi og naturhistorie.