Johann Bernard fikk allerede som barn sin musikalske skolering av faren, Johann Aegidius Bach. Senere studerte han sammen med Johann Sebastian Bach i Weimar. I 1695 ble han organist i Erfurt og Magdeburg, og i 1703 erstattet han sin onkel Johann Christoph Bach som organist ved Georgenkirche i Eisenach og som cembalist i hofforkesteret.