Карл Альбрехт приходился внуком великому курфюрсту Фридриху Вильгельму. Он отличился во время Первой Силезской и Семилетней войн. Карл Альбрехт пользовался неограниченным доверием Фридриха II, короля Пруссии.