Nel 634, deceduto Abu Bakr, gli succedette Umar, che continuò le guerre cominciate dal suo predecessore. Nel maggio 636, l'Imperatore Eraclio lanciò una grande spedizione per riconquistare il territorio perduto, ma il suo esercito subì una grave disfatta nella Battaglia dello Yarmuk combattuta nell'agosto 636. Successivamente, Abu Ubaidah, il comandante supremo dell'esercito dei Rashidun in Siria, tenne una riunione di guerra all'inizio di ottobre 636 per discutere sulle future mosse da intraprendere. Dopo essere stati incerti su se attaccare per prima o la città costiera di Cesarea o Gerusalemme, che finora avevano resistito a tutti i tentativi di conquista musulmana, Abu Ubaidah, ancora indeciso, decise di scrivere al Califfo Umar per chiedere istruzioni. Il califfo rispose alla lettera ordinandogli di conquistare Gerusalemme. Abu Ubaidah, dunque, marciò in direzione di Gerusalemme da Jabiya, con Khalid ibn Walid e la sua guardia mobile a condurre l'avanguardia. I Musulmani arrivarono a Gerusalemme a inizio novembre, e la guarnigione bizantina si ritirò nella città fortificata.