ジェームズ・ウルフ
1742年、カールトンが17歳の時に第25歩兵連隊の少佐に任官され、1745年には中尉に昇進した。この期間に後にカナダのフランス軍を攻撃したときの指揮官ジェームズ・ウルフと友人になった。1745年のジャコバイトの反乱のカロデンの戦いでは、ウルフとともにカールトンが従軍した可能性がある。カールトンの兄弟であるウィリアムとトマスも陸軍に入った。