Khilafah pertama, Khilafah Rasyidin, diasaskan sejurus selepas kematian Nabi Muhammad pada tahun 632 TM. Keempat-empat khalifah Ar-Rasyidin, yang secara langsung menggantikan Nabi Muhammad sebagai pemimpin masyarakat Islam, telah dipilih melalui "syuara", suatu proses perundingan komuniti yang dianggap sebagai bentuk awal demokrasi Islam dan kini diserap ke bahasa Melayu menjadi "mesyuarat". Khalifah keempat, Ali, berasal dari Bani Hasyim sama seperti Nabi Muhammad, dan dianggap oleh orang Syiah sebagai khalifah sah yang pertama juga Imamah (pemimpin) selepas Nabi Muhammad. Ali memerintah semasa Fitnah Pertama (656-661 TM), sebuah perang saudara antara penyokong Ali dan penyokong Uthman—yang telah dibunuh—dari Banu Umaiyyah dan juga pemberontak di Mesir; perang ini menghala kepada pengasasan Khilafah Umaiyyah di bawah Muawiyah I pada tahun 661 TM.