קאלוורט נולד בעיר רוהאטק שבהודו הבריטית ב-6 במרץ 1913. הוא למד באקדמיה הצבאית המלכותית בווליץ', ובשנת 1933 התגייס לחיל ההנדסה המלכותי. במשך תקופה מסוימת הוא היה אלוף הצבא באיגרוף במשקל בינוני. בשנת 1936 הועבר לכוחות ההנדסה בהונג קונג, ובמסגרת תפקידו זה למד קנטונזית והיה עד לטבח ננקינג, שגרם לו להאמין שהאימפריה היפנית מסוכנת לבריטניה הרבה יותר ממה שסברו מרבית אנשי הצבא. כאשר פרצה מלחמת העולם השנייה בשנת 1939 הועבר קאלוורט חזרה לאירופה, ובשנת 1940 השתתף כמפקד פלוגה במערכה בנורווגיה. לאחר מכן הוחזר להונג קונג, ואימן יחידות קומנדו. זמן קצר לאחר מכן הועבר לאוסטרליה והשתתף שם באימון יחידות קומנדו אוסטרליות. בשנת 1941 נשלח לבורמה, ומונה למפקד "בית הספר ללוחמת שיחים" שבו אימן חיילים בלוחמת גרילה. לאחר כיבוש בורמה בידי היפנים בשנת 1942 בצע מספר פעולות הונאה כנגד היפנים. בין היצר הוא ביצע פשיטה עם כמה חיילים אוסטרלים כדי לשכנע את היפנים שתגבורת אוסטרלית מגיעה לראנגון, ודאג שהיפנים ימצאו חבילת מסמכים מזויפים על תוכניות הצבא הבריטי.