Johann Friedrichs far, Johann Christoph Agricola, var i Dobitschen, og selv en begavet klaver- og orgelspiller. Moren, Maria Magdalena, Manken., var en nær slektning av Georg Friedrich Händel.