Posteriormente, Jálid se enfrentó a tribus árabes, mayoritariamente cristianas, y a las guarniciones persas sasánidas del valle del Éufrates, en Irak. Abu Bakr le asignó el mando de los ejércitos musulmanes en Siria y lideró a sus hombres en una marcha poco convencional a través de una larga franja sin agua del desierto sirio, lo que cimentó su reputación como estratega militar. Como resultado de victorias decisivas contra los bizantinos en Achnadayn (634), Fahl (634), Damasco (634-635) y Yarmuk (636), los musulmanes bajo el mando de Jálid conquistaron gran parte de Siria. Posteriormente fue degradado del alto mando por Úmar a raíz de una serie de causas citadas por fuentes islámicas tradicionales y modernas. Jálid continuó sirviendo como lugarteniente principal de su sucesor, Abu Ubáidah ibn al-Yarrah, en los asedios de Homs y Alepo y en la batalla de Qinnasrin, todos ellos en 637-638, que precipitaron colectivamente la retirada de Siria de las tropas imperiales bizantinas del emperador Heraclio. Posteriormente, Úmar destituyó a Jálid de su cargo de gobernador de Qinnasrin y éste murió en Medina o Homs en 642.