Походив з династії Баварських Віттельсбахів. Четвертий син Максиміліана II, курфюрста Баварії, від його шлюбу з Терезою ​​Кунегундою Собеською. Народився 1700 року в Брюсселі. Потім з родиною перебрався до Мюнхена. В цей час почалася війна за іспанську спадщину, в якій Баварія була союзником Франції. 1706 року Баварію окупували австрійські війська. Клеменс Август разом з братами опинився в Клагенфурті. 1712 року разом з родиною під почесною охороною переведено до Граца, де залишався до 1715 року. В цей час здобув освіту під орудою єзуїтів. Після завершення війни через 10 років нарешті побачив своїх батьків.