Setelah dewasa, Ali pernah berseberangan dengan pemerintahan Kekhalifahan Umayyah selama pemerintahan Al-Walid bin Abdul-Malik (memerintah 705–715), yang pernah memerintahkan Ali untuk dicambuk dan dibuang dari pusat pemerintahan. Ali kemudian pindah ke provinsi Ash-Sharat, di perbatasan antara Palestina dan wilayah Arab, dan bertempat tinggal di desa Humeima, menetapkan tempat itu sebagai markas baru keluarga Abbasiyah. Dia meninggal di Humeima pada 735-6 atau tahun berikutnya, saat putranya Muhammad telah mengambil alih kepemimpinan keluarga dan upaya kampanye Abbasiyah.