Cea mai important bătălie a lui Khalid ibn al-Wlaid în timpul celui de-al doilea calif Umar este Bătălia de la Yarmuk. După ce cuceriseră Emesa, musulmanii s-au îndreptat spre nord pentru a cuceri întreaga zona nordică a Siriei. Împăratul Heraclius a adunat mai multe triburi arabe ce se opuneau islamului, și câteva brigăzi armene. Unele surse afirma că această armată ar fi fost formată din 100,000 de oameni, iar altele afrima că ar fi fost formată din 200,000 de oameni. Armata musulmanilor era formată din 24,000 de oameni. Khalid nu se mai afla la conducerea armatei islamice, Abu Ubaidah fiind comandantul armatei, la ordinele califului Umar. Khalid a simițit amenințarea venită din partea bizantinilor și i-a propus lui Abu Ubaidah ca întreaga armată din zonă să se adune la Jabiya și să aibă loc o bătălie decisivă în acea zonă. Această acțiune i-a încurcat planurile lui Heraclius care nu dorea o luptă în câmp deschis. Tot la sugestia lui Khalid, armata s-a îndreptat spre malul râului Yarmuk, iar Abu Ubaidah a hotărât că Khalid să devină comandant al luptei. Bătălia a durat 6 zile, și s-a terminat cu victoria impresionantă a armatei musulmane, care era depășită clar din punct de vedere numeric.