Jabarkan Setelah kematian Muhammad dari Abu Ayyub al-Anshari

Abu Ayyub al-Anshari tetap tinggal di Madinah sampai pada masa kekhalifahan Ali bin Abi Thalib. Di masa itu, Ali mengangkatnya sebagai penggantinya memimpin Madinah ketika Ali memindahkan pusat kekhalifahan ke Irak. Namun, Abu Ayyub tidak lama kemudian menyusul Ali ke Irak. Dia pernah pindah ke Mesir melalui jalur laut pada tahun 46 H. Pindah lagi ke Damaskus pada zaman Muawiyah bin Abi Sufyan.

Abu Ayyub ikut serta dalam peperangan membebaskan banyak negeri, selain Perang Shiffin. Dia memihak Ali dalam memerangi kaum Khawarij.

Sampai pada zaman Muawiyah bin Abu Sufyan, Ia ikut bertempur melawan kekaisaran Romawi. Ia dimakamkan di Konstantinopel. Pada zaman pemerintahan Muhammad al-Fatih memerintah Kesultanan Utsmaniyah, Ia dijadikan idola sebagai pahlawan yang membebaskan kota Konstantinopel.