Broren Johann Gottlieb Graun var også en framstående komponist, og i 1714 fulgte Graun sin bror til i Dresden. Sangstemmen hans vakte oppsikt, ved siden av sangundervisning fikk han sin første klaver- og celloopplæring.