خالد بن الوليد خالد في عهد أبي بكر وعمر
تفرقت الجيوش بعد ذلك، فتوجه كلٌ إلى وجهته التي كان أبو بكر قد وجهه إليها، فتوجه خالد مع أبي عبيدة إلى دمشق ففتحوها بعد حاصروها وصالحوا أهلها على الجزية. وبينما هم هناك إذ أقبل رسول يحمل خبر وفاة أبي بكر وتولي عمر بن الخطاب الخلافة، ومعه كتاب إلى أبي عبيدة يولّيه إمارة الجيش ويعزل خالدا، إلا أنه ظل تحت قيادة أبي عبيدة، كأحد قادته. وبعد أن إطمأن أبو عبيدة إلى مقام المسلمين، تقدم بقواته ومعه خالد إلى فحل، وقد كان قد أرسل بعض جنده لحصارها خلال محاصرته لدمشق، فهزم حاميتها ومن لجأ إليهم من جند الروم الفارين من أجنادين، وقد أظهر خالد بن الوليد وضرار بن الأزور يوم فحل بطولات ذكرها لهم المؤرخون.
كتب عمر بن الخطاب إلى أبي عبيدة يأمره بفتح حمص. انتهز هرقل قيصر الروم انشغال المسلمين في فحل، فأرسل جيشًا بقيادة توذر (تيودوروس) لاستعادة دمشق. وبينما كان جيش المسلمين في طريقهم إلى حمص، التقى الجيش البيزنطي في منتصف الطريق في مرج الروم. خلال الليل، أرسل توذر نصف جيشه إلى دمشق لشن هجوم مفاجئ على حامية المسلمين. وفي الصباح، وجد المسلمون أن جيش الروم قد قلّ عدده، فتوقع خالد أن يكون الروم قد وجهوا جزءاً من جيشهم لمهاجمة دمشق. استأذن خالد أبا عبيدة، وانطلق في فرقة من الفرسان ليدرك جيش الروم المتوجّه لدمشق. استطاع خالد أن يهزم هذا الجيش الرومي بعدما حُصر الروم بين قوات خالد وحامية المدينة. عاد خالد لينضم لقوات أبي عبيدة، وحاصر معه حمص إلى أن سلّم أهلها طالبين الصلح، فصالحهم أبو عبيدة على شروط وخراج صلح دمشق، ثم سلمت حماة واللاذقية وعلى نفس الشروط.
واجه عمرو بن العاص وشرحبيل بن حسنة صعوبات في مواجهة الروم في فلسطين وجنوب الشام، لذا أرسلا إلى عمر فأمر أبا عبيدة وخالد بالتوجه إليهم للدعم، واستطاعت قوات المسلمين تطهير البلاد ثم توجهوا إلى القدس آخر المعاقل البيزنطية في جنوب الشام، التي فرّ إليها العديد من الناجين من معركة اليرموك، وحاصروها. لم تقبل المدينة بالتسليم، إلا للخليفة شخصيًا. بعد القدس، توجه جيش أبو عبيدة وخالد، لاستكمال فتح شمال الشام. وجه أبو عبيدة خالد إلى قنسرين المدينة منيعة الحصون، فوجد بها جيشًا روميًا عظيمًا، فقاتلهم خالد وهزمهم في معركة قنسرين، وفرّت الفلول لتتحصن بالمدينة طالبين الصلح كصلح حمص، إلا أن خالد رفض ورأى أن يعاقبهم لمقاومتهم للمسلمين. لحق جيش أبوعبيدة بن الجراح بقوات خالد بن الوليد في قنسرين بعد فتحها ليتابعا زحفهما إلى حلب، حيث استطاعا فتحها.
كان الهدف التالي للمسلمين أنطاكية عاصمة الجزء الآسيوي من الإمبراطورية البيزنطية. وقبل أن يسيروا إليها، قرر أبو عبيدة وخالد عزل المدينة عن الأناضول، بالاستيلاء على جميع القلاع التي قد توفر الدعم الاستراتيجي إلى أنطاكية، وأهمها أعزاز في الشمال الشرقي من أنطاكية. وقد خاض الروم المدافعون عن أنطاكية معركة يائسة مع جيش المسلمين خارج المدينة بالقرب من نهر العاصي، لكنها انتهت بهزيمتهم، وتراجعهم إلى أنطاكية، فحاصرها المسلمون. فقد الروم الأمل في وصول المدد من الإمبراطور، فاستسلمت أنطاكية على أن يُسمح لجند الروم بالمرور إلى القسطنطينية بأمان.
وجّه أبو عبيدة خالد شمالاً، بينما توجّه جنوبًا وفتح اللاذقية وجبلة وطرطوس والمناطق الساحلية الغربية من سلسلة جبال لبنان الشرقية. استولى خالد على الأراضي حتى «نهر كيزيل» في الأناضول. قبل وصول المسلمين إلى أنطاكية، كان الإمبراطور هرقل قد غادرها إلى الرها، لترتيب الدفاعات اللازمة في بلاد ما بين النهرين وأرمينيا، ثم غادرها متوجها إلى عاصمته القسطنطينية. وفي طريقه إلى القسطنطينية، نجا بصعوبة من قبضة خالد الذي كان في طريقه منصرفًا من حصار مرعش إلى منبج.
بعد الهزائم الساحقة المتتالية لقوات هرقل في تلك المعارك، أصبحت فُرصُه لتصحيح أوضاعه قليلة، بعدما أصبحت موارده العسكرية المتبقية ضعيفة، لذا لجأ إلى طلب مساعدة من المسيحيين العرب من بلاد ما بين النهرين الذين حشدوا جيشًا كبيرًا توجهوا به نحو حمص، قاعدة أبو عبيدة في شمال الشام، وأرسل إليهم جندًا عبر البحر من الإسكندرية. أمر أبو عبيدة كل قواته في شمال الشام بموافاته في حمص، بعدما حاصرتها القبائل العربية المسيحية. فضّل خالد خوض معركة مفتوحة خارج المدينة، إلا أن أبا عبيدة أرسل إلى عمر يطلب رأيه. بعث عمر إلى سعد بن أبي وقاص بأن يسيّر جندًا لغزو منازل تلك القبائل العربية المسيحية في بلادها، وأن يبعث القعقاع بن عمرو في أربعة آلاف فارس مددًا لأبي عبيدة. بل وسار عمر بنفسه من المدينة على رأس ألف جندي. دوت تلك الأنباء في العراق والشام، فرأت تلك القبائل أن تسرع بالرجوع إلى منازلها، تاركين جند الروم في مواجهة مصيرهم أمام قوات المسلمين الذين هزموا تلك القوات هزيمة نكراء، قبل أن تصل قوات المدد من العراق أو المدينة. ثم أرسل أبو عبيدة خالد في قوة لمهاجمة القبائل من الخلف، وكانت تلك آخر محاولات هرقل لاستعادة الشام.
بعد تلك المعركة، أمر عمر باستكمال غزو بلاد ما بين النهرين. فبعث أبو عبيدة خالد وبعث سعد عياض بن غنم لغزو شمال بلاد ما بين النهرين. ففتحا الرها وديار بكر وملطية ثم اجتاحا أرمينية حتى بلغ خالد آمد والرها، وهو يفتح البلاد ويستفئ الغنائم، ثم عاد إلى قنسرين وقد اجتمع له من الفئ شيء عظيم.
اختلفت روايات المؤرخين حول ترتيب وقائع فتح الشام، فمثلاً روى الطبري أن معركة اليرموك كانت المعركة التالية لفتح بصرى، أما البلاذري فقد روى أنها كانت آخر معارك فتح الشام، وأنها تمت في عهد عمر بن الخطاب.