עיסוק עיקרי של צה"ל במהלך כהונתו של יעלון היה המשך המלחמה בטרור הפלסטיני ודיכוי האינתיפאדה השנייה. בשנתיים הראשונות לכהונתו של יעלון, גל הטרור שמקורו ביהודה ושומרון הלך ודעך, במידה רבה בשל פעילותו של השב"כ וכן בעזרת גדר ההפרדה שהוקמה סביב אזור השומרון. בשלהי 2003 בוצעו פיגועי תופת נוספים כנגד ישראל, חלקם בהכוונת החזבאללה וסוריה. ב־4 באוקטובר 2003 ביצע הג'יהאד האיסלאמי פיגוע התאבדות במסעדת מקסים בחיפה בו נרצחו 21 בני אדם. בתגובה תקפו מטוסי חיל האוויר מחנה אימונים של מחבלים בסוריה, בסמוך לעין-צאחב, במטרה לאותת לסוריה לרסן את מפקדות ארגוני הטרור בתחומה.