Grunnleggende musikkutdanning fikk Agricola av skolemesteren Johann Paul Martini i Dobitschen mellom 1725 og 1738. Senere studerte han rettsvitenskap, i Leipzig (1738–41); der traff han og ble elev av Johann Sebastian Bach. Sammen med Bachs sønn Carl Philipp Emanuel skrev Agricola en omfattende nekrolog over J. S. Bach.