Moe'awija I, de neef van Othman, wilde de moordenaars van zijn neef achterhalen, maar Ali wilde niet nog meer bloed vergieten en weigerde, en daarop begon Moe'awija een veldslag (samen met de weduwe van Mohammed, Aïsja) tegen Ali. De eerste werd gewonnen door Ali, en de tweede bleef onbeslist, nadat Moe'awijas leger zich overgaf. In 661 werd Ali nabij de stad Koefa gedood door een groepering genaamd de kharidjieten, die vonden dat Ali (doordat hij Moe'awija en zijn leger niet vervolgde nadat ze zich over hadden gegeven) niet het recht had op het leiderschap. Deze strijd staat bekend als de Eerste Fitna of burgeroorlog. Na de dood van Ali eisten sommigen van Ali's aanhangers dat Ali's oudste zoon Hasan de nieuwe kalief moest worden, maar Hasan werd door Moe'awija overgehaald om het kalifaat op te geven, wat hij deed. Deze bloederige 'familievete' onder de vroege moslims werd het begin van de eerste interne scheuring binnen de islam: die tussen sjiieten, zij die Ali als rechtmatige kalief erkennen, en tussen soennieten, zij die Mu'awiyah erkennen.