Lord Charles wykształcenie odebrał w Harrow School w Londynie. W 1812 r., w wieku 16. lat, został dowódcą Królewskiego Regimentu Konnego Gwardii. 3 lata później dowodził regimentem w bitwie pod Waterloo, gdzie został ranny. W 1818 r. towarzyszył księciu Richmond w podróży do Dolnej Kanady, gdzie książę miał był gubernatorem (lord Charles poślubił później córkę księcia, lady Mary). W 1820 r. otrzymał stopień kapitana, zaś w 1825 r. podpułkownika i adiutanta gubernatora Kraju Przylądkowego.