উসমানের মৃত্যুর পর মুহাম্মাদের চাচাত ভাই ও মেয়ে-জামাই আলী খলিফা নির্বাচিত হন এবং মদিনা থেকে কুফায় রাজধানী স্থানান্তর করেন। মুখতার সেখানে কিছু ছোটখাটো প্রশাসনিক দায়িত্ব পালন করেন এবং তার চাচা নিকটবর্তী আল মাদা'ইনের গভর্নর নিযুক্ত হন। সিরিয়ার শাসক মুয়াবিয়াসহ মুহাম্মাদের স্বল্পসংখ্যক সাহাবী আলীর কর্তৃত্বকে অস্বীকার করলে যুদ্ধ ছড়িয়ে পড়ে। মুয়াবিয়া সমঝোতার প্রস্তাব দেওয়ার পর আলীর সৈন্যরা যুদ্ধ করতে অস্বীকৃতি জানায়। ফলে চূড়ান্ত কোন ফলাফল ছাড়াই সিফফিনের যুদ্ধ শেষ হয় (জুলাই ৬৫৭)। অনিচ্ছা সত্ত্বেও আলী আলোচনায় বসতে রাজী হন। কিন্তু আলীর সৈন্যদের ছোট একটি অংশ সমঝোতা প্রস্তাব গ্রহণের তার এই সিদ্ধান্তকে ধর্মহীনতা আখ্যা দিয়ে আন্দোলনে ফেটে পড়ে। এরা পরবর্তীতে খারিজি নামে পরিচিতি পায়। আলোচনা মুয়াবিয়া ও আলীর বিতন্ডা মিমাংসায় ব্যর্থ হয়। পরে ৬৬১ খ্রিষ্টাব্দের জানুয়ারিতে আলী এক খারিজির হাতে নিহত হন।