בשנת 634 מת אבו בכר וירש אותו עומר בן אל-ח'טאב, שהמשיך במלחמת הכיבוש שלו. במאי 636 פתח הקיסר הרקליוס במערכה גדולה להחזרת השטח האבוד, אך צבאו הובס בקרב הירמוך באוגוסט 636. לאחר מכן, אבו עוביידה בן אל-ג'ראח, המפקד המוסלמי של צבא ראשידון בסוריה, ערך מועצת מלחמה בתחילת אוקטובר 636 כדי לדון בתוכניות עתידיות. הדעות נחלקו בין עיר החוף קיסריה וירושלים. אבו עוביידה יכול היה לראות את חשיבותן של שתי הערים הללו, שהתנגדו לכל ניסיונות הכיבוש המוסלמים. הוא לא הצליח להכריע בעניין, והוא כתב לח'ליף עומר להנחיות. בתשובתו הורה להם הח'ליף ללכוד את ירושלים. בהתאם לכך, אבו עוביידה צעד לכיוון ירושלים מג'בייה, כאשר ח'אלד בן אל-וליד והמשמר הנייד שלו הובילו את ההתקדמות. המוסלמים הגיעו לירושלים בסביבות תחילת נובמבר, וחיל המצב הביזנטי נסוג לעיר המבוצרת.