Jabarkan Nahrawan dari Khawarij

Ali menolak untuk mengecam proses arbitrase yang terus berlanjut meskipun pasukan di Harura kembali setia padanya. Pada bulan Maret 658, Ali mengirim delegasi, yang dipimpin oleh Abu Musa Al-Asy'ari, untuk melaksanakan pembicaraan. Pasukan yang menentang arbitrase setelah itu mengutuk keputusan Ali dan memilih Abdullah bin Wahab Ar-Rasibi yang saleh sebagai khalifah mereka. Untuk menghindari deteksi, mereka keluar dari Kufah dalam kelompok kecil dan pergi ke sebuah tempat bernama Nahrawan di tepi timur Tigris. Sekitar lima ratus rekan mereka yang berada di Basrah diberitahu dan bergabung dengan mereka di Nahrawan. Gabungan atas pasukan Ali yang menolak arbitrase dan sebagian rekan mereka dari Basrah dilaporkan berjumlah hingga 4.000 orang. Mereka menyatakan Ali dan para pengikutnya sebagai kafir, dan dianggap telah membunuh beberapa orang yang tidak memiliki pandangan yang sama.

Sementara itu, para arbiter menyatakan bahwa Utsman telah dibunuh secara tidak adil oleh para pemberontak. Mereka tidak dapat menyepakati hal-hal substantif lainnya dan prosesnya gagal. Ali mencela perilaku pihak delegasi Muawiyah, yaitu Amru bin Ash karena bertentangan dengan al-Qur'an dan Sunnah, dan mengumpulkan para pendukungnya untuk mengobarkan perang baru melawan Muawiyah. Dia mengundang Khawarij untuk bergabung dengannya seperti sebelumnya. Mereka menolak dan tetap menunggu pengakuan Ali bahwa dirinya telah tersesat dan mau bertobat. Melihat tidak ada peluang rekonsiliasi, Ali memutuskan untuk berangkat ke Suriah tanpa mereka. Namun, dalam perjalanan, dia menerima berita tentang pembunuhan seorang musafir oleh kaum Khawarij, yang kemudian diikuti dengan pembunuhan terhadap utusannya, yang telah dikirim untuk menyelidiki mereka. Dia didesak oleh para pengikutnya, yang mengkhawatirkan keluarga dan harta benda mereka di Kufah, untuk berurusan dengan kaum Khawarij terlebih dahulu. Setelah Khawarij menolak untuk menyerahkan para pembunuh, anak buah Ali menyerang perkemahan mereka, yang berakibat pada kekalahan telak di pihak Khawarij di Pertempuran Nahrawan (Juli 658 M), di mana Ar-Rasibi dan sebagian besar pendukungnya dibunuh. Sekitar 1.200 Khawarij menyerah dan selamat. Pertumpahan darah menyegel perpecahan Khawarij dari pengikut Ali, dan mereka terus melancarkan pemberontakan melawan kekhalifahan. Lima pemberontakan kecil Khawarij yang mengikuti Nahrawan, masing-masing berjumlah sekitar 200 orang, dipadamkan selama pemerintahan Ali. Khawarij menyerukan balas dendam yang akhirnya menyebabkan pembunuhan Ali oleh seorang Khawarij yang terkenal bernama Abdurrahman bin Muljam. Ibnu Muljam membunuh Ali dengan pedang beracun saat Ali memimpin salat subuh pada tanggal 26 Januari 661 di masjid Kufah.