Herakleiův triumf nad Peršany brzy zastínila nově vyvstalá hrozba islámské expanze. Ve třicátých letech 7. století napadli muslimští Arabové byzantské provincie v Sýrii a Palestině. Poté, co jim Byzantinci podlehli v bitvě u Jarmúku v roce 636, byly obě tyto země pro říši trvale ztraceny. V posledních letech Herakleiova panování si Arabové dále podrobili Mezopotámii a ve svých výbojích pokračovali i v Egyptě a Arménii.