Trận Yarmouk
Người La Mã phản công

Sau khi chiếm được Emesa, quân Hồi giáo chỉ còn cách Aleppo — một thành trì kiên cố của Đông La Mã — một chặng hành quân. Họ cũng áp sát Antiochia, nơi Hoàng đế Heraclius đang đóng quân. Trước hàng loạt thất bại liên tiếp, Heraclius vô cùng lo lắng và gấp rút chuẩn bị một cuộc phản công nhằm giành lại các vùng đất đã mất. Năm 635, Hoàng đế Ba Tư Yazdegerd III tìm cách liên minh với Đông La Mã. Để củng cố quan hệ, Heraclius gả con gái (hoặc theo một số nguồn, cháu gái) Manyanh cho Yazdegerd III. Theo kế hoạch, trong khi Heraclius mở một chiến dịch lớn vào vùng Levant, Yazdegerd sẽ đồng thời phát động cuộc phản công ở Iraq, tạo thành một mũi hợp đồng tác chiến, gây áp lực lên quân Hồi giáo từ hai hướng. Tuy nhiên, khi Heraclius khởi động chiến dịch vào tháng 5 năm 636, Yazdegerd không thể phối hợp, có lẽ do triều đình Ba Tư lúc bấy giờ đã kiệt quệ do cuộc chiến trường kỳ với Đông La Mã và tình trạng bất ổn trong nước sau đó. Kế hoạch, từng được kỳ vọng sẽ xoay chuyển cục diện, cuối cùng lại thất bại ngay từ khâu triển khai.
Cuối năm 635, Đông La Mã bắt đầu chuẩn bị cho chiến dịch phản công. Đến tháng 5 năm 636, Heraclius tập trung một lực lượng hùng hậu tại Antiochia, miền bắc Syria. Quân đội của ông quy tụ binh sĩ từ nhiều sắc tộc khác nhau, bao gồm người Slav, Frank, Gruzia, Armenia, Ả Rập Kitô giáo, Lombard, Avar, Khazar, cư dân vùng Balkan và Đột Quyết. Lực lượng này được chia thành năm đạo quân, đặt dưới quyền thống lĩnh của Theodorus Trithyrius. Trong đó, Vahan — một tướng lĩnh người Armenia, từng chỉ huy đồn trú tại Emesa — giữ vai trò tổng chỉ huy chiến trường và trực tiếp dẫn dắt một đội quân toàn người Armenia. Buccinator (Qanatir), một thân vương người Slav, chỉ huy lực lượng Slav, trong khi Jabalah ibn al-Aiham, vua của người Ghassanid, lãnh đạo quân Ả Rập Kitô giáo. Hai tướng Gregory và Dairjan phụ trách các đạo quân còn lại, gồm toàn bộ binh sĩ châu Âu. Heraclius đích thân giám sát chiến dịch từ Antiochia. Một số nguồn Đông La Mã cũng đề cập đến Niketas, con trai tướng Ba Tư Shahrbaraz, trong hàng ngũ chỉ huy, nhưng vai trò cụ thể của ông vẫn chưa rõ ràng.
Lúc này, quân Rashidun được chia thành bốn cánh: Amr ibn al-As chỉ huy lực lượng tại Palestine, Shurahbil ibn Hasana đóng ở Jordan, Yazid ibn Abi Sufyan kiểm soát khu vực Damascus-Caesarea và Abu Ubayda ibn al-Jarrah cùng Khalid ibn al-Walid chỉ huy cánh quân tại Emesa.
Nhận thấy quân Hồi giáo bị phân tán trên nhiều mặt trận, Heraclius quyết định tận dụng cơ hội để phản công. Ông không muốn lao vào một trận đánh quyết định duy nhất, mà thay vào đó áp dụng chiến thuật "vị trí trung tâm" — tấn công từng cánh quân riêng lẻ trước khi họ kịp hợp nhất. Kế hoạch của ông là buộc quân Hồi giáo phải rút lui hoặc bị tiêu diệt từng phần, qua đó giành lại các vùng lãnh thổ đã mất. Để thực hiện chiến lược này, Heraclius cử quân tiếp viện đến Caesarea dưới quyền chỉ huy của con trai ông, Konstantinos Herakleios, nhằm cầm chân lực lượng của Yazid, lúc này đang vây hãm thành phố.  Đến giữa tháng 6 năm 636, quân đội hoàng gia Đông La Mã xuất phát từ Antiochia và miền bắc Syria, sẵn sàng tiến hành chiến dịch phản công quy mô lớn.
Quân đội hoàng gia Đông La Mã triển khai chiến dịch theo kế hoạch sau:
Lực lượng Ả Rập Kitô giáo hạng nhẹ do Jabalah chỉ huy sẽ hành quân từ Aleppo đến Emesa qua Hama, giữ chân quân chủ lực của Hồi giáo tại Emesa.
Dairjan sẽ thực hiện một cuộc tấn công từ sườn, tiến theo hướng giữa bờ biển và đường Aleppo, áp sát Emesa từ phía tây, đánh vào sườn trái của quân Hồi giáo trong khi Jabalah ghìm chân họ ở chính diện.
Gregorius sẽ đánh vào sườn phải quân Hồi giáo, hành quân từ đông bắc, tiến về Emesa qua vùng Lưỡng Hà.
Qanatir sẽ đi theo tuyến đường ven biển, chiếm Beirut, sau đó tấn công Damascus từ phía tây – nơi phòng thủ yếu – nhằm cắt đứt đường tiếp tế của quân Hồi giáo tại Emesa.
Đạo quân của Vahan sẽ đóng vai trò lực lượng dự bị, di chuyển về Emesa qua Hama, sẵn sàng ứng phó theo diễn biến chiến trường.