アリー・イブン・アビー・ターリブ
しかし、ウスマーンは自分の家系であるウマイヤ家を重視する政策を採ったため、クライシュ族の他の家系の反発を招き、656年に暗殺された。次のカリフ位をめぐって、ムハンマドの従弟で娘婿のアリーと、ウスマーンと同じウマイヤ家のムアーウィヤが争った。紆余曲折を経て、アリーが第4代のカリフに就任した。
アリーがカリフに就任するが、ムアーウィヤや、ムハンマドの晩年の妻で初代正統カリフのアブー・バクルの娘アーイシャはこれに反発した。656年、アリーはまずアーイシャの一派をラクダの戦い(アラビア語: موقعة الجمل mwaqah al-jamal)で退けた。ムアーウィヤは、ウスマーンを暗殺したのはアリーの一派であるとして、血の報復を叫んでアリーと戦闘に至った。ムアーウィヤは、657年のスィッフィーンの戦いでアリーと激突した。戦闘ではアリーが優位に立ち、武勇に優れたアリーを武力で倒すことは難しいと考えたムアーウィヤは、策略をめぐらせてアリーと和議を結んだ。この結果、ムアーウィヤは敗北を免れたことでウンマの一方の雄としての地位を確保し、アリーは兵を引いたことで支持の一部を失うことになった。
ムアーウィヤは刺客の手から逃れたが、一方アリーは661年にクーファの大モスクで祈祷中にアブド=アルラフマーン・イブン・ムルジャムにより毒を塗った刃で襲われ、2日後に息を引き取った。正統カリフ4代のうち実に3代までが暗殺されたことになる。アリーの暗殺により、ムアーウィヤは単独のカリフとなり、自己の家系によるカリフ位の世襲を宣言し、ウマイヤ朝を開くことになる。これに反発したアリーの支持者は、アリーとムハンマドの娘ファーティマとの子ハサンとフサインおよびその子孫のみが指導者たりうると考え、彼らを無謬のイマームと仰いでシーア派を形成していく。これに対して、ウマイヤ朝の権威を認めた多数派は、後世スンナ派(スンニ派)と呼ばれるようになる。