Johann A. Scheibe var født og vokste opp i Leipzig som sønn av orgelbyggermesteren Johann Scheibe (ca. 1680–1748). I 1725 begynte han å studere rettsvitenskap og filosofi ved byens universitet, men måtte avbryte etter at familiens finansielle situasjon forverret seg. Han lærte da å spille orgel og cembalo, stort sett på egen hånd. Etter et mislykket forsøk på å få posten som organist ved Thomaskirken i Leipzig i 1729 – Johann Sebastian Bach var en av meddommerne – arbeidet han mellom 1730 og 1735 som musikklærer og komponist i hjembyen.