Carl August var sønn av Christian August og Albertine Friederike av Baden-Durlach, og etterfulgte sin far som biskop. Den dansk-norske kongedatter Frederikke Amalie var hans bestemor.