Khalifah Abu Bakar meninggal pada tahun 634 dan baginda digantikan oleh Khalifah Umar yang meneruskan penaklukan. Pada bulan Mei 636, Maharaja Heraclius melancarkan ekspedisi besar bagi menawan semula wilayah yang telah hilang akan tetapi tenteranya mengalami kekalahan muktamad dalam Pertempuran Yarmuk pada bulan Ogos tahun yang sama. Pada awal bulan Oktober 636, Abu Ubaidah, panglima tertinggi tentera al-Rasyidin di Syria (Syam), mengadakan perbincangan tentang perancangan masa depan. Pendapat tentang objektif-objektif kempen berbeza—antara Caesarea, sebuah kota pesisiran, dengan Baitulmuqaddis. . Abu Ubaidah nampak yang kedua-dua kota ini, yang bertahan dan menentang penaklukan Muslim, penting. Beliau tidak dapat membuat keputusan dan menulis surat kepada Khalifah Umar untuk mendapatkan arahan lanjut. Dalam jawapannya baginda memerintahkan agar tentera al-Rasyidin menawan Baitulmuqaddis. Bersesuaian dengan perintah Khalifah Umar, Abu Ubaidah bergerak menuju ke Baitulmuqaddis dari Jabiya, dengan didahului Khalid bin al-Walid bersama-sama pasukan mudah geraknya. Tentera Muslim tiba di Baitulmuqaddis pada awal November 636, dan pasukan pertahanan Byzantine pun berundur ke dalam kota yang diperkukuh.