Karel Willem Ferdinand was de oudste van de dertien kinderen van Karel I van Brunswijk en Philippina Charlotte van Pruisen, dochter van Frederik Willem I. Na een opvoeding in de klassieke, rationalistische traditie door de theoloog Johann Friedrich Wilhelm Jerusalem nam hij al vroeg dienst in het leger. Hij onderscheidde zich in de Zevenjarige Oorlog (1756-1763) in de slagen bij Hastenbeck en Krefeld en nam aan alle krijgsverrichtingen van zijn oom Ferdinand van Brunswijk deel. In 1773 werd hij, bij zijn oom Frederik de Grote als veldheer in hoog aanzien, benoemd tot generaal van de infanterie in het leger van Pruisen. Als zodanig maakte hij de Beierse Successieoorlog (1778-1779) mee. Zijn eigenzinnige zuster Elisabeth van Brunswijk-Wolfenbüttel was, na enkele jaren huwelijk met prins Frederik Willem II van Pruisen en diverse schandalen, verbannen naar Stettin en zou hem nooit meer zien.