Jabarkan Mangkat dari Umar bin Abdul Aziz

Kebijakan pembaharuan yang dilakukan 'Umar bin 'Abdul 'Aziz mengusik para bangsawan Umayyah karena hak istimewa mereka dihilangkan sebagai bagian dari pembaharuan yang dilakukan 'Umar. Hal ini mendorong mereka menyuap seorang budak milik 'Umar bernama Alas dengan uang sejumlah 1.000 dinar emas dan kebebasan dirinya agar mau meracuni makanan 'Umar. 'Umar yang mengetahui tindakan budaknya kemudian mengambil uang 1.000 dinar tersebut dan dimasukkan ke baitul mal, sedangkan Alas diperintahkan pergi sebagai orang merdeka. Dalam perjalanannya pulang dari Damaskus ke Aleppo, atau saat berada di Khanasir, dia jatuh sakit. 'Umar mangkat antara tanggal 5 sampai 10 Februari 720 pada usia 37 tahun di Dayr Sim'an di Aleppo barat laut. 'Umar membeli sebidang tanah di desa dan menjadi tempat jenazahnya dikebumikan. Sisa-sisa makamnya masih terlihat, makamnya tidak diketahui secara pasti waktu pembuatannya.

Sumber-sumber sejarah Muslim utamanya sepakat akan kesalehan 'Umar bin 'Abdul 'Aziz dan dia dipandang sebagai seorang pemimpin Muslim teladan, menjadikannya kerap disejajarkan dengan empat khalifah rasyidah. Hal ini berseberangan dengan beberapa khalifah lain dari Bani Umayyah yang kerap dianggap sebagai perampas tak bertuhan dan zalim, sehingga mereka lebih dipandang sebagai seorang raja dan bukan khalifah sejati selayaknya 'Umar bin 'Abdul 'Aziz. Dalam pandangan sejarawan Hawting, penggambaran ini sebagian memang berangkat dari fakta-fakta sejarah serta sifat dan tindakan 'Umar, tetapi selain itu juga didasarkan atas "kebutuhan dan pandangan tradisi." Kennedy menyebut 'Umar sebagai "sosok paling membingungkan di antara penguasa Marwani". Menurut Hawting, sejarawan Jerman Julius Wellhausen menandai perubahan dalam studi Barat mengenai 'Umar yang awalnya dipandang sebagai "idealis yang tak praktis" beralih ke pandangan yang lebih modern sebagai "seorang saleh yang berusaha menyelesaikan masalah pada zamannya dengan jalan yang akan menyesuaikan kebutuhan dinastinya dan negara dengan tuntutan Islam."

Seorang ulama sunni Mughal Syah Waliullah Dehlawi pada abad ke-18 menyatakan, "Seorang mujaddid muncul di tiap akhir abad. Mujaddid pada abad pertama (hijriah) adalah imam ahlus-sunnah, 'Umar bin 'Abdul 'Aziz. Mujaddid abad kedua adalah imam ahlus-sunnah, Muhammad Idris Syafi'i (Imam Asy-Syafi'i). Mujaddid abad ketiga adalah imam ahlus-sunnah, Abu Hasan Asy'ari (Imam Asy'ari). Mujaddin abad keempat adalah Abu 'Abdullah Hakim Naisaburi.

Sepeninggal 'Umar bin 'Abdul 'Aziz, tampuk kekhalifahan diserahkan kepada sepupunya yang juga saudara seayah Khalifah Al-Walid dan Khalifah Sulaiman, Yazid bin 'Abdul-Malik.