Johann Jacob var Johann Ambrosius og Maria Elisabeth Bachs nest yngste barn. Faren var by- og hoffmusiker i Eisenach. Som sine søsken gikk J. Jacob Bach på latinskolen i fødebyen. Foreldrene døde i 1694 og 1695, og de to yngste barna, Jacob og Sebastian ble tatt hånd om av den eldste broren, Johann Christoph Bach som var organist ved Michaeliskirche i Ohrdruf. Organistlønna var ikke tilstrekkelig til å brødfø hans voksende familie og å samtidig gi de to brødre utdanning, så de var nødt til å bidra med inntekter. Det kan være grunnen til at J. J. Bach avbrøt skolegangen i en alder av 14 år og begynte i musikerlære hos Johann Heinrich Halle, farens etterfølger i Eisenach.