קרלטון-סמית, בנו של גנרל בריטי שהוצב במערב גרמניה, נולד בבילפלד והתחנך באיטון קולג'. הוא למד באוניברסיטת דורהאם ולאחר מכן התגייס לצבא הבריטי. הוא התקבל לאקדמיה הצבאית המלכותית בסנדהרסט והוסמך כקצין חי"ר בשנת 1982. קרלטון-סמית שובץ במשמר האירי ולקח חלק בלחימה בצפון אירלנד כמפקד מחלקה ופלוגה. לאחר מכן התנדב לשירות האוויר המיוחד ולחם במלחמת המפרץ ובבוסניה כמפקד פלגה ביחידה. לאחר מכן שירת כראש מטה החטיבה הממוכנת ה-19 וכראש מטה החטיבה הרב לאומית במבצע כוח מאוחד.