Karl August ble født i Weimar som eldste sønn av Ernst August II av Sachsen-Weimar-Eisenach og Anna Amalie av Braunschweig-Wolfenbüttel.