Meskipun Umar bin Khattab di zaman Khalifahnya memberhentikannya sebagai panglima tertinggi pasukan muslim, namun ia tetap menjadi pemimpin yang efektif dari pasukan yang tersusun untuk melawan Kekaisaran Bizantium selama tahap awal dari Peperangan Romawi Timur-Arab. Dibawah komandonya, Damaskus ditaklukan pada tahun 634 dan kunci kemenangan Arab melawan pasukan Kekaisaran Bizantium dicapai pada Pertempuran Yarmuk (636) yang menyebabkan penaklukan Bilad al-Sham (Levant). Pada tahun 638, di puncak-puncak kariernya sebagai panglima perang, Khalid diberhentikan jabatannya.