خلافت علی بن ابی‌طالب
تمایز یافتن شیعیان علی

مادلونگ می‌گوید پس از جدایی خوارج، حامیان علی بر مبنای ولایت علی مجدداً با وی بیعت کردند. این بار، آن‌ها با ارجاع به حدیث غدیر که از محمد نقل شده‌است، متعهد شدند دوست کسی باشند که با وی دوست است و دشمن آنکه با وی دشمن است. («ولی لمن والاه، عدو لمن عاداه») علی تصریح کرد که پایبندی به سنت محمد نیز به شرط بیعت افزوده شود، اما سنت ابوبکر و عمر را به عنوان شرط بیعت نپذیرفت. اما خوارج می‌گفتند بیعت باید مبتنی بر قرآن و سنت محمد، ابوبکر و عمر باشد، نه ولایت یک شخص خاص. احتمالاً در همین زمان، علی حدیث غدیر را علناً در برابر عموم اعلام کرد و از مردمی که شاهد واقعه غدیرخم بوده‌اند درخواست کرد که بر آن شهادت دهند. دوازده یا سیزده تن از صحابه شهادت دادند که این حدیث را از محمد شنیده‌اند که علی «مولای» آن کس است که محمد مولای اوست. («من کنت مولاه فهذا علی مولاه») بدین ترتیب علی صراحتاً مرجعیت دینی فراتر از ابوبکر و عمر را برای خود مطرح کرد. عبدالحسین امینی در الغدیر بر مبنای روایات شیعه و سنی این استشهاد را مربوط به سال ۳۵ هجری و اوائل استقرار علی در کوفه می‌داند و در تاریخ معروف به روز رحبه است. طبق روایات بین دوازده تا سی نفر که شاهد ماجرای غدیر بودند، بر حدیث غدیرخم در خصوص وی شهادت داده‌اند.
در سال‌های بعد، به خصوص پس از سقوط مصر و کشته شدن شیعیانش در آنجا، علی با صراحت بیشتر دیدگاه‌هایش از جمله دربارهٔ خلفای پیشین و استحقاقش بر خلافت محمد را در نامه‌ای خطاب به پنج تن از شیعیانش بیان کرد که متن آن در الغارات ثقفی آمده‌است.
نبرد نهروان
مقالهٔ اصلی: نبرد نهروان
پس از حکمیت اول، هنگامی که علی دریافت معاویه بیعت با خود به عنوان خلیفه را پذیرفته‌است، تمامی روابط با وی را قطع کرد و در قنوت نماز صبح وی و برخی اصحابش را مطابق با سنتی مشابه از معاویه لعن نمود و معاویه نیز متقابلاً با علی و فرزندانش و یاران نزدیکش چنین کرد. علی سعی کرد سپاه تازه‌ای را سامان دهد و از مسلمانان خواست با کسانی بجنگند که بر شیوه کسری و قیصر حکومت می‌کنند و بندگان خدا را به خدمت می‌گیرند. وی از خوارج نیز برای پیوستن به جنگ علیه معاویه دعوت کرد، اما آنان پافشاری کردند که علی اول اقرار به توبه از کفری کند که به نظرشان با پذیرش حکمیت مرتکب شده بود. پوناوالا می‌گوید در این هنگام، فقط انصار، باقی‌ماندگان قرا به رهبری مالک اشتر و تعداد کمی از مردان قبایلشان به علی وفادار ماندند. علی با سپاه جدیدش کوفه را به منظور براندازی معاویه ترک کرد. البته در روایت تاریخی سپاه علی تا ۶۵٬۰۰۰ هزار نفر تخمین زده شده، اما مادلونگ معتقد است در این عدد مبالغه شده‌است.
در همین ایام که علی در راه شام بود، خوارج دست به کشتن افرادی نظیر عبدالله بن خباب بن ارت و همسر باردارش زدند، که از حامیان علی بودند و با خوارج اختلاف دیدگاه داشتند؛ لذا سپاه علی و به خصوص اشعث بن قیس از وی خواستند که نخست با خوارج برخورد کند، چون از جانب آن‌ها برای خویشان و اموال خود احساس ناامنی می‌کردند. پس علی در ابتدا به نهروان رفت تا با مخالفان تعامل کند. هرچند نظر اکثریت سپاه بر این بود، اما برخی سپاه را ترک کردند. علی از خوارج خواست که قاتلان را تسلیم کنند، اما آن‌ها در پاسخ گفتند جملگی این قتل‌ها را مرتکب شده و ریختن خون شیعیان علی را حلال می‌دانند.
نبرد نهروان به روایت بلاذری در ۹ صفر ۳۸ هجری (حدوداً ۱۷ ژوئیهٔ ۶۵۸ میلادی) رخ داد، اما مادلونگ بیشتر احتمال می‌دهد که نبرد طبق روایت ابومخنف در ذی‌الحجه ۳۷ هجری مقارن با نیمهٔ مهٔ ۶۵۸ میلادی رخ داده باشد. علی و برخی از اصحابش از خوارج خواستند که دست از دشمنی و جنگ بردارند، اما آن‌ها نپذیرفتند. سپس علی پرچم عفو را دست ابوایوب انصاری داد و اعلام کرد هر کس نزد آن پرچم برود و همچنین اگر کسی از خوارج، نهروان را ترک کند و مرتکب قتلی نشده باشد، در امان است. بدین ترتیب صدها تن از خوارج از سپاهشان جدا شدند و از حدود ۴۰۰۰ نفر تنها ۱۵۰۰ یا ۱۸۰۰ تن باقی ماندند. نهایتاً علی منتظر ماند تا خوارج نبرد را آغاز کنند و سپس با سپاهی حدوداً چهارده هزار نفری به باقی‌ماندهٔ لشکر خوارج یورش برد. از سپاه علی بین ۷ تا ۱۳ نفر کشته شدند، حال آنکه تقریباً همه خوارجی که دست به شمشیر بردند کشته و زخمی شدند. علی دستور داد زخمیان خوارج برای مداوا به قبایلشان تحویل داده شوند. در سال‌های بعد نیز پنج شورش هر بار توسط چند صد نفر از خوارج علیه علی انجام شد و هر بار شکست خورد.
مادلونگ می‌نویسد نبرد با خوارج چالش‌برانگیزترین رخداد دوران خلافت علی بود. هرچند از دید یک دولتمرد عادی جنگ با شورشیانِ بیعت‌شکنِ خون‌ریزی که آشکارا تهدید به قتل دیگران می‌کردند معقول و بلکه ضروری بود، اما اینان پیش از این از همراهان علی و همچون خود وی از مخلص‌ترین باورمندان به قرآن بودند. آن‌ها می‌توانستند از پرشورترین متحدان علی در مقابله با انحراف از قرآن باشند. اما علی نمی‌توانست به درخواست آنان، اقرار به کفر خود کند یا دیگر مسلمانان را کافر بداند یا آنکه از قتل‌هایی که مرتکب شده بودند چشم‌پوشی کند. بعد از این رخداد، اولویت نخست علی آن بود که مجدداً در میان قرا وفاق ایجاد کند. هرچند علی درصدد بود که مستقیماً از نهروان به سوی شام لشکرکشی کند، اما سپاهش به رهبری اشعث بن قیس با شکوه از فقدان توشهٔ جنگی او را مجبور به حرکت به سمت کوفه کردند و در آنجا لشکرگاه را ترک کردند. پوناوالا می‌نویسد کشتار نهروان از سوی بسیاری از افراد تقبیح شد و فرار کردن سربازان از سپاه علی، وی را مجبور کرد تا به کوفه بازگردد و نتواند به سمت معاویه لشکرکشی کند.