Zijn vriend en stamgenoot kalief Oethman werd in 656 vermoord en werd opgevolgd door Ali, de neef en schoonzoon van Mohammed. Een van de vrouwen van Mohammed, Aïsja kwam in opstand, het begin van de Eerste Fitna. Ze verloor echter de Slag van de Kameel. Daarna stond Moe'awija op als usurpator, hij vond dat Ali te weinig deed om de moordenaars van zijn vriend te straffen. Moe'awija leidde een leger tegen Ali in 657. De strijd verliep echter slecht voor Moe'awija en op het punt van het verliezen van de oorlog vroeg hij vervolgens aan Ali om arbitrage. Ali stemde toe en de arbitrage stond Moe'awija zelfs toe zijn ambt in Damascus te behouden. De vergevingsgezinde Ali verloor hierdoor echter de steun van een grote groep minder verdraagzamen, de kharidjieten ("zij die weggingen" of "rebellen") en Ali werd in 661 door een van hen vermoord.