Hij was de tweede zoon van hertog Frederik Willem en Maria van Baden, dochter van Karel Lodewijk van Baden. Zijn moeder vluchtte samen met hem en zijn oudere broer Karel na de Slag bij Jena in oktober 1806 naar Zweden en vervolgens naar Bruchsal, waar zij op 20 april 1808 stierf. Hierop liet zijn grootmoeder Augusta (zuster van de Britse koning George III) hem naar Engeland overbrengen. Na 1814 werd hij te Brunswijk onder voogdij van George IV opgevoed. Zijn broer Karel besteeg als Karel II de hertogelijke troon toen Frederik Willem in 1815 sneuvelde in de Slag bij Quatre-Bras.