Vrij snel hierna daagde de gouverneur van Damascus, de nog door Uthman aangestelde Omajjaad Moe'awija, de zoon van Aboe Sufyan, Ali uit om de moordenaars van Uthman te vinden om hen te kunnen straffen. Toen Ali dit niet deed, leidde Moe'awija een leger tegen Ali in 657. De strijd verliep echter slecht voor Moe'awija en op het punt van het verliezen van de oorlog vroeg hij vervolgens aan Ali om arbitrage. Ali stemde toe en de arbitrage stond Moe'awija zelfs toe zijn ambt in Damascus te behouden. De vergevingsgezinde Ali verloor hierdoor echter de steun van een grote groep minder verdraagzamen, de kharidjieten ("zij die weggingen" of "rebellen") en hij werd in 661 door een van hen vermoord. Deze strijd staat bekend als de Eerste Fitna of burgeroorlog.