خلافت علی بن ابی‌طالب
پیدایش خوارج

مقالهٔ اصلی: خوارج
در خلال شکل‌گیری توافق بر سر حکمیت، ائتلاف حامیان علی شروع به از هم پاشیدگی کرد. در بازگشت به کوفه سپاه علی به دو گروه موافقان و مخالفان حکمیت تقسیم شد. در حالی که مخالفان حکمیت شعار لا حکم الا الله (حکم کردن جز برای خدا نیست) می‌دادند و موافقان را متهم به بدعت می‌کردند، موافقان حکمیت مخالفان را متهم به خارج شدن از صف امام و امت می‌کردند. بدین ترتیب دوازده هزار مرد که مخالف حکمیت بودند از سپاه علی جدا شدند و در حرورا تجمع کردند. در میان آن‌ها بسیاری از موافقان اولیهٔ متارکهٔ جنگ و حکمیت بودند که اکنون به اشتباه خود پی برده بودند. آن‌ها متعهد شدند پس از پیروزی برای انتخاب خلیفه شورا تشکیل دهند.
اسماعیل پوناوالا می‌گوید مسئله توسل به سنت، باید مهم‌ترین دلیل واکنش قرّا بوده باشد. آن‌ها با حکمیت موافقت کردند، چون حکمیت دعوت به صلح و به کار بردن قرآن بود. در آن زمان، بندهای توافق‌نامه هنوز تعیین نشده بود و در آن موردی که علی دیگر امیرالمؤمنین تلقی نخواهد شد، وجود نداشت. از آن جدی‌تر، گسترش اختیارات داوران از قرآن به سنتی که ابهام‌آمیز است، اعتبار قرآن را به خطر می‌انداخت؛ بنابراین معادل «حکم کردن افراد در امر دین» (تحکیم الرجال فی الدین) به حساب می‌آمد. از این رو، آنان شعار لا حُکم الا الله (حکم کردن جز برای خدا نیست) را برافراشتند. در این زمان، شامیان ادعا کردند که این توافق‌نامه، تأییدی است بر اینکه قرآن در مورد عادلانه بودن یا نبودن کشته شدن عثمان، حکم کند؛ ولی قرا شکی نداشتند که او عادلانه کشته شده‌است. کل ماجرا یک تلاش سازمان‌یافته برای تخریب ائتلاف علی به نظر می‌رسد. قرا به علی گفتند که اگر همانند آنان به خاطر پذیرش حکمیت توبه نکند، آنان از وی اعلان برائت خواهند نمود.
علی که گرفتار نافرمانی حروریان شده بود، ابتدا پسر عمویش عبدالله بن عباس را به عنوان نمایندهٔ خود برای مذاکره به حرورا فرستاد و سپس خودش شخصاً برای بحث به آنجا رفت؛ ولیری می‌گوید استدلال‌هایی که حروریان در بحث با علی به کار می‌گرفتند در تاریخ طبری یا دیگر منابع سنی یا کتبی که به نفع علی جهت‌دار هستند ذکر نشده، حال آنکه استدلال ابن‌عباس و علی ذکر شده‌است. استدلالشان به‌طور خلاصه این بوده‌است: «وقتی ما خون عثمان را ریختیم، بر حق بودیم. چون او بدعت در دین آورده بود. به همین ترتیب وقتی خون طلحه و زبیر و هوادارانشان را ریختیم نیز بر حق بودیم. چون آن‌ها شورشی بودند. همچنین وقتی که خون یاران معاویه و عمرو عاص را ریختیم نیز بر حق بودیم، چون آنان از حدود کتاب خدا و سنت پیامبر تجاوز کرده بودند. از دید آنان، آیا معاویه و یارانش از خدا تبعیت می‌کردند؟ پاسخ طبعاً منفی است. پس خدا حکم خود را در این مورد اعلام نموده و باید اجرا شود. این یکی از حدود الهی است و باید مانند دیگر حدود اجرا شود. انسان در موردی که خدا حکمش را داده حق داوری ندارد (لا حکم الا لله)».
به عقیده ولیری به نظر نمی‌رسد استدلال‌هایی که علی پیش روی این گروه سرسخت قرار داد (که در منابع مختلف با یکدیگر فرق دارد) توانسته باشد بر استدلال‌های آنان فائق آمده باشد. اما مادلونگ می‌نویسد علی به آن‌ها یادآور شد که خودشان مجبورش کردند که متارکهٔ جنگ کند، حال آنکه او هشدار داد که این نیرنگ است. همچنین گفت که اگر دو حکم از قرآن عدول کنند، رأیشان پذیرفته نخواهد شد. وی افزود که با حکمیت افراد در امر دین موافق نیست، بلکه حکمیت با قرآن است. اما قرآن که متن مکتوب است و سخن نمی‌گوید و افراد باید از آن استنطاق کنند و آن را به سخن درآورند. به روایت ابومخنف، آن‌ها به علی گفتند که پذیرش حکمیت کافرانه بوده و آن‌ها از آن توبه کرده‌اند و علی نیز باید توبه کند تا مجدداً با وی بیعت کنند. علی در پاسخ گفت از هر گناهی به خداوند توبه می‌کند.
علی از آنان خواست که دست از مخالفت بردارند و در این کار موفق شد. در کتاب النهروان اثر فزاری آمده که علی قول داد جنگ با معاویه را ادامه دهد و ضمانت محکمی بر این قول قرار داد. در برخی منابع آمده که علی گفت: «ما مالیات جمع‌آوری می‌کنیم. اسب‌های خود را قبراق و سرحال می‌کنیم و سپس به سوی معاویه دوباره لشکرکشی می‌کنیم.» ولیری معتقد است این جمله نشان می‌دهد که علی به حروریان امتیاز داد. طه حسین معتقد است که در این زمان یک سوء تفاهم بین علی و خوارج پیش آمده‌است. اما پس از اینکه علی به کوفه بازگشت، به‌طور صریح اعلام کرد که به شرایط منعقدشده در عهدنامه صفین وفادار خواهد ماند و حکمیت را بدعت و کافرانه نمی‌داند. مادلونگ می‌گوید اغلب حروریان از جمله رهبرانشان موضع علی را پذیرفتند، اما اقلیتی علم مخالفت برداشتند و شعار لا حُکم الا لِله (حکم جز برای خدا نیست) سر دادند. علی در پاسخ گفت کلمة الحق، یراد بها الباطل (سخن حقی است که از آن مقصودی باطل را می‌جویند). آن‌ها امارت را انکار می‌کنند، حال آنکه وجود حکومت برای تدبیر امور دینی لازم است. در نتیجهٔ این سخن، گروهی که همچنان حکمیت را بدعت می‌دانستند و خوارج نامیده شدند با یکدیگر ملاقات‌های پنهانی ترتیب داده و با عبدالله بن وهب راسبی بیعت کردند و پنهانی گریختند. آنان از همفکران خود در بصره دعوت به عمل آوردند و در نهروان جمع شدند. فرد دانر معتقد است بعضی از خوارج ممکن است علت مخالفتشان با علی این بوده‌باشد که می‌ترسیدند علی با معاویه سازش کرده و در پی آن، آنان برای حساب پس دادن در مورد شورش خود علیه عثمان فراخوانده‌شوند.