Abu Bakrs regjeringstid gikk for det meste med til å nedkjempe klaner som mente de utelukkende hadde underkastet seg Muhammed og at deres lojalitetsløfte sluttet med hans død. Abu Bakr ble dolket i ryggen og drept mens han ledet en bønn i ca. 634, og i henhold til hans ønske ble Umar ibn al-Khattab utnevnt til ny kalif. Under Umar erobret kalifatet mange nye landområder. Muslimene erobret mesopotamia og deler av Persia fra Det persiske rike og Syria, Palestina, Armenia, Egypt og deler av Nord-Afrika fra Det bysantinske riket. I 644 ble Umar drept av en persisk slave som bar nag mot ham av personlige årsaker. Uthman ibn Affan ble valgt til kalif etter Umars død. Under Uthmans styre falt restene av Det persiske riket, Kypros, og mesteparten av Nord-Afrika og Kaukasus under kalifatets kontroll. Uthman utnevnte for det meste sine egne klansmenn fra Umayyadklanen til guvernørstillinger i det nye imperiet, mange muslimer så på dette som nepotisme, og mente Uthman regjerte mer som en konge enn som «Den første blant likeverdige» som kalifen var ment å være. Dette førte til økt misnøye med hans styre og i 656 ble han drept av en sint folkemengde i sitt eget hus.