באוקטובר 1947 עלה לארץ ישראל והתחיל את לימודיו באוניברסיטה העברית בחוג לספרות עברית. חודש לאחר מכן, עם פרוץ מלחמת העצמאות, הניח כרמי לימודיו והתגייס לשירות ההגנה. הוא שירת בחי"ש בזמן המצור הערבי על ירושלים. עם פלישת הלגיון באמצע מאי 1948 היה ט. כרמי מקלען בכיתת חי"ש שבלמה את טור הלגיון הירדני באזור שבין בית הספר לשוטרים ומעבר מנדלבאום. מפקד החזית, יוסף נבו, המליץ בפני מפקד המחוז, דוד שאלתיאל, להעניק לכרמי ציון לשבח על לחימתו בקרב בלימה זה. ט. כרמי המשיך ושירת בחטיבת הראל בגדוד הפלמ"ח בשעת ההתקפה על לטרון, ולבסוף כקצין בחיל האוויר. באוקטובר 1949 שוחרר בדרגת סרן וחזר ללמוד באוניברסיטה העברית.