Khilafah mula wujud selepas kewafatan Muhammad pada 632 M dan perdebatan tentang penggantinya. Abu Bakar as-Siddiq, sahabat rapat Muhammad dari suku Bani Taim dilantik sebagai pemimpin pertama dsn memulakan penaklukan Tanah Arab. Dia memerintah dari tahun 632 hingga 634. Abu Bakar digantikan oleh pengganti lantikannya, Umar bin al-Khattab dari suku Bani Adi yang meneruskan penaklukan Persia, akhirnya membawa kepada kejatuhan Empayar Sassanid pada tahun 651. Umar telah ditikam pada 644 M dan digantikan oleh Uthman bin Affan yang dilantik melalui perbincangan antara 6 orang yang diatur oleh Umar. Bawah pemerintahan Uthman, kerajaan Islam diluaskan dengan penaklukan Armenia, Parsi dan Khurasan. Uthman telah dibunuh pada 656 M dan digantikan oleh Ali Abi Talib, yang membawa kepada peristiwa yang dikenali sebagai Fitnah Pertama (656-661). Perang ini melibatkan puak Muawiyah, sepupu Uthman dan Gabenor Syam yang menuntut pembelaan Uthman dan puak yang menyokong Khalifah Ali. Perang saudara ini juga membawa kepada kewujudan doktrin Syiah, dengan Syiah berpegang bahawa Ali merupakan khalifah pertama yang berhak dan Imam selepas Muhammad. Terdapat juga pihak ketiga yang menyokong Gabernor Mesir, Amr bin al-As Selepas kematian Ali, perang itu akhirnya dengan penyerahan jawatan khalifah kepada Muawiyah yang mengasaskan Kerajaan Bani Umayyah.