En ser elegit califa Abu-Bakr as-Siddiq, va refusar reconèixer-lo com a califa durant sis mesos. Tanmateix, després en fou conseller, així com ho fou d'Umar ibn al-Khattab sense tenir cap càrrec excepte el de lloctinent a Medina durant el viatge d'Umar a Síria i Palestina. En arribar al poder Uthman ibn Affan, el va acusar diverses vegades d'ignorar l'Alcorà. Assassinat Uthman, els omeies van fugir de Medina i l'oposició va quedar dominant la situació. Es va demanar a Ali d'acceptar el califat que suposadament va rebre el 18 de juny del 656, esdevenint el quart califa de l'Islam (656-659). En acceptar el nomenament de part d'algunes de les persones que havien participat en la mort d'Uthman, va ser acusat de participació en el crim, especialment per Muàwiya, governador de Síria i cosí d'Uthman.