Bei Shaizer Khalid überraschte Chalid eine Karawane, die Vorräte nach Chalcis brachte. Die Gefangenen berichteten von einer angeblich zweihunderttausend Mann starken Armee. Chalid kehrte sofort mit dieser Nachricht zum Hauptheer zurück. Chalid schlug Abu Ubaidah aus Furcht vor einer Zersplitterung der muslimischen Truppen vor, den Oströmern eine Feldschlacht anzubieten. Abu Ubaidah hielt sich an diesen Rat und befahl allen Garnisonen das eroberte Land wieder aufzugeben und sich stattdessen bei Jabiya zu versammeln. Von Jabiya zogen sich die arabischen Truppen auf Abu Ubaidahs Befehl auf die Ebene am Jarmuk zurück. Im Juli 636 war die Armee vollständig auf der Ebene versammelt. Etwa zwei Wochen später trafen die oströmischen Truppen ein. Ihr Befehlshaber schickte einige ghassanidische Araber voraus, um die Stärke der Muslime auszukundschaften, doch Chalids Kavallerie besiegte sie. Über den ganzen nächsten Monat zogen sich die Verhandlungen zwischen den beiden Armeen hin, während laufend arabische Verstärkungen eintrafen. Abu Ubaidah übergab für die Schlacht am Jarmuk den Oberbefehl an Chalid, die am 15. August begann. Sie dauerte sechs Tage und endete in einer katastrophalen Niederlage für die Oströmer. Möglicherweise aufgrund von Streitigkeiten um die Beute entzog der Kalif Chalid den Befehl. (Manche Forscher datieren die Schlacht bereits auf 635.)