Proti vytrvale postupujícím muslimům, směřujícím stále více na sever, vyslal Herakleios v roce 636 všechny dostupné vojenské síly sestávající z vybraných oddílů rozmístěných poblíž hlavního města, početného kontingentu Arménů a arabských pomocných sborů zahrnujících Ghasánovce. Velením na straně Byzantinců byli pověřeni arménský vojevůdce Vahan a sakellarios Theodoros Trithurios. Masivní byzantský protiútok přiměl muslimské Araby k vyklizení obou měst obsazených jimi v předcházejícím roce, načež se stáhli do rozeklané krajiny severně od řeky Jarmúk v dnešní jižní Sýrii. Na tomto místě s nimi Byzantinci od poloviny července sváděli sérii rozhořčených střetů, při nichž byli v nepříznivém terénu odříznuti od svého tábora a zatlačeni do bezvýchodné pozice. Bitva u Jarmúku vyvrcholila 20. srpna 636, kdy vítězní muslimové podnikli finální útok do dezercemi křesťanských Arabů a všeobecnou demoralizací rozvrácených byzantských řad.