Lite er kjent om Johann Gottlieb Goldbergs tidlige leveår. Han ble oppdaget rundt 1737, da han var omtrent 14 år, av Russlands ambassasør til Sachsen, grev Hermann Carl von Keyserlingk. Goldberg skal ha studert hos J. S. Bach og hans eldste sønn Wilhelm Friedemann Bach. J. S. Bach regnet Goldberg som sin dyktigste elev: Goldberg var kjent for sin presisjon og uttrykkskraft, han kunne spille de vanskeligste partiturer fra bladet, og var en uvanlig god improvisatør.