১৯৫৭ সালে সেনাবাহিনীতে কমিশন লাভের পর প্রায় আট বছর (১৯৫৭-১৯৬৫) তিনি বিভিন্ন সেনা প্রশিক্ষণ কেন্দ্রে প্রশিক্ষণ লাভ করেন। ১৯৬৫ সালের পাক-ভারত যুদ্ধের সময় খালেদ মোশাররফ চতুর্থ বেঙ্গল রেজিমেন্টের অ্যাডজুডেন্ট হিসেবে নিয়োগ লাভ করেন। যুদ্ধের পর তিনি কাকুল মিলিটারি একাডেমিতে প্রশিক্ষক হিসেবে যোগ দেন। সেখান থেকে গ্রাজুয়েশন সম্পন্ন করার পর তিনি মেজর হিসেবে পদোন্নতি লাভ করেন। ১৯৬৮ সালে তিনি কোয়েটা স্টাফ কলেজ থেকে পি.এস.সি. ডিগ্রি লাভ করেন এবং তাকে ব্রিগেড মেজর হিসেবে খারিয়াতে ৫৭- ব্রিগেডে নিয়োগ দেওয়া হয়। তাঁর যখন জার্মানি ও যুক্তরাজ্যে সেনা-প্রশিক্ষণে যাওয়া কথা, তখন ১৯৭০ সালের মার্চে তাঁকে ঢাকা বদলি করা হয়।