১৯৪৭ সালে পাকিস্তান স্বাধীন হলে জিয়া নবগঠিত পাকিস্তান সেনাবাহিনীতে যোগ দেন; ১৯৬৫ সালে ভারতের বিপক্ষে যুদ্ধে অংশগ্রহণ করেন তিনি। ১৯৭০ সালে পাকিস্তানি সেনাদলের প্রশিক্ষণের অংশ হিসেবে জর্দান যান। সেখানে বাদশাহ হুসাইনের বিরুদ্ধে কালো সেপ্টেম্বরে উৎখাত সফলভাবে রুখে দেন। এর স্বীকৃতিস্বরূপ ১৯৭৬ সালে প্রধানমন্ত্রী জুলফিকার আলী ভুট্টো তাকে সশস্ত্রবাহিনীর প্রধান হিসেবে মনোনীত করেন।