Etter Uthmans død ble Ali ibn Abi Talib spurt om å bli muslimenes leder. Det blir sagt at han takket nei til å begynne med, fordi han ikke ønsket å profittere på Uthmans brutale drap, men at han til slutt takket ja etter at hans tilhengere insisterte. Mange mente derimot enten at han var medskyldig i drapet, eller at han ikke gjorde nok for å stille morderne for retten, og hans regjeringstid startet med å slå ned opprør, først fra profeten Muhammeds enke Aisha i «slaget ved Basra», og så fra Uthmans klansmann Muawiyah ibn Abi Sufyan, guvernør av Syria i «slaget ved Siffin» i 657. Slaget ved Siffin ble løst ved megling, men en puritansk del av Alis tilhengere (kharijittene) som hadde ment han var utvalgt av Gud som muslimenes leder, mente megling over Guds avgjørelse var blasfemisk og forlot han. I 661 ble han drept av en gruppe kharijitter, og Muawiyah tok makten som første kalif i det som utviklet seg til å bli det arvelige Umayyadkalifatet.