Eraclio, da Antiochia, preparava la riscossa, ed affidò un imponente esercito al "sakellarios" Teodoro, a Baanes e al ghassanide Jabala ibn Ayham. Di fronte a tale spiegamento di forze Khālid preferì ritirare le sue truppe, sgomberando i territori e le città conquistate fino ad allora, e ripiegando in cerca del luogo ideale allo scontro, che individuò sulle rive del fiume Yarmuk, un affluente del Giordano a sud del lago di Tiberiade. Qui infuriò una lunga e sanguinosa battaglia, dall'esito incerto fino all'ultimo, che si risolse il 20 agosto del 636 in una netta vittoria degli Arabi. I resti dell'armata bizantina batterono in ritirata ed Eraclio fece sgomberare la Palestina e la Siria, approntando la difesa. Gli Arabi, ora guidati da Yazīd ibn Abī Sufyān e da suo fratello Muʿāwiya, rioccuparono rapidamente quanto precedentemente sgomberato e posero il blocco a Gerusalemme, da cui il "basileus" prudentemente aveva fatto portar via la Vera Croce. Nel 638, dopo sette mesi d'assedio, la città santa si arrendeva ai musulmani.