James era un ottimo cavallerizzo e questo, insieme al ruolo svolto dalla cavalleria nella Battaglia di Waterloo lo portò a voler entrare in un Reggimento. Tuttavia suo padre non era d'accordo, considerando che prima di tutto il figlio avrebbe dovuto generare un erede per mantenere la continuità della famiglia. Così il ragazzo nel 1816 fu mandato a Christ Church (Oxford), rimase all'università per tre anni, ma la mancanza di passione per gli studi non gli permise di conseguire la laurea.