উমর খলিফা হওয়ার পর খালিদকে সেনাপতির পদ থেকে অপসারণ করেন। তবে এরপরও খালিদ আরব-বাইজেন্টাইন যুদ্ধের প্রথম পর্যায়ে একজন কার্যকর নেতা হিসেবে ভূমিকা রেখেছেন। তার নেতৃত্বে মুসলিমরা ৬৩৪ সালে দামেস্ক জয় করে। ৬৩৬ সালে ইয়ারমুকের যুদ্ধে মুসলিমরা গুরুত্বপূর্ণ বিজয় অর্জন করে। এর ফলে বিলাদ আল-শাম (লেভান্ট) জয়ের পথ উন্মুক্ত হয়ে যায়।