৬৩৪ সালে আবু বকর মৃত্যুবরণ করেন ও উমর তার উত্তরসুরি হন। তিনি এই বিজয় অভিযান চালিয়ে যান। ৬৩৬ সালে সম্রাট হেরাক্লিয়াস তার হারানো অঞ্চল পুনরুদ্ধারের জন্য একটি বড় অভিযান চালান। কিন্তু ৬৩৬ এর আগস্টে ইয়ারমুকের যুদ্ধে তার বাহিনী পরাজিত হয়। এরপর অক্টোবরের প্রথম দিকে সিরিয়ার মুসলিম বাহিনীর কমান্ডার-ইন-চীফ আবু উবাইদাহ ভবিষ্যত পরিকল্পনা বিষয়ে একটি সভার আহ্বান করেন। উপকূলীয় শহর কায়সারিয়া ও জেরুসালেমের বিষয়ে বিভিন্ন রকম মত উঠে আসে। আবু উবাইদাহ এই দুটি শহরের গুরুত্ব অনুধাবন করছিলেন। সিদ্ধান্ত গ্রহণ করতে না পেরে তিনি খলিফা উমরের কাছে নির্দেশনা চেয়ে চিঠি লেখেন। উত্তরে খলিফা দ্বিতীয় শহরকে জয় করার নির্দেশ দেন। এরপর আবু উবাইদাহ জাবিয়া থেকে জেরুসালেমের দিকে অগ্রসর হন। তার সাথে খালিদ বিন ওয়ালিদ ও তার অধীনস্থ বাহিনীও ছিল। নভেম্বরের প্রথমদিকে মুসলিমরা জেরুসালেমে পৌছে এবং বাইজেন্টাইন বাহিনী নগর প্রাচীরের ভেতর অবস্থান নেয়।