Han var sønn nummer to av Ernst Günther av Augustenborg og hustru Augusta av Glücksborg. Ernst August konverterte til katolisismen, og ble canonicus i Köln. Moren valgt derfor å hoppe over ham i arverekkefølgen – mot 500 riksdaler som årpenger – og innsatte i stedet sin yngste sønn, Frederik Vilhelm, som enearving.