Hans far døde da han bare var ni måneder gammel (28. mai 1758), dermed stod moren Anna Amalie for hele oppdragelsen. Hans stattholder var grev Eustach von Gorz. I 1771 ble Christoph Martin Wieland Karl Augusts lærer. I 1774 kom poeten Karl Ludwig von Knebel for å være lærer for Friedrich Ferdinand Konstantin, Karl August sin yngre bror; de to brødrene reiste samme år med grev Gorz og Knebel til Paris. Da de kom til Frankfurt, introduserte Knebel Karl August for den unge Goethe; begynnelsen på et langt vennskap.