Jabarkan Sulaiman bin Yasar dari Umar bin Abdul Aziz

‘Urwah bin az-Zubair bin 'Awwam

Kharijah bin Zaid bin Tsabit

‘Ubaidallah bin ‘Abdullah bin ‘Utbah

Abu Bakar bin ‘Abdur-Rahman al-Makhzumi

Abu Bakar bin Sulaiman bin Abi Hatsmah

Salim bin 'Abdullah bin 'Umar bin Khattab

‘Abdullah bin ‘Abdullah bin ‘Umar

‘Abdullah bin ‘Amin bin Rabiah.

Enam nama pertama yang disebutkan termasuk Tujuh Fuqaha Madinah.

Masa di Madinah itu menjadi masa yang jauh berbeda dengan pemerintahan sebelumnya, dan keluhan-keluhan resmi ke Damaskus (ibukota kekhalifahan saat itu) berkurang dan dapat diselesaikan di Madinah. 'Umar juga cenderung longgar dalam menghadapi para ulama yang kerap melayangkan kritik terhadap pemerintahan Umayyah. Dalam masalah pribadi, 'Umar bin 'Abdul 'Aziz memiliki gaya hidup yang mewah saat menjadi gubernur. Segala kebijakan yang diambil menjadikan 'Umar bin 'Abdul 'Aziz sebagai pejabat yang terkenal akan kesalehan dan kebijaksanaannya.

Kemasyhuran 'Umar bin 'Abdul 'Aziz menjadikan kelompok syiah dari kawasan Iraq yang dipandang sebagai penentang Umayyah mencari suaka di Madinah lantaran mendapat penindasan dari gubernur tempat mereka berasal, Al-Hajjaj bin Yusuf. 'Umar melayangkan surat kepada Al-Walid mengenai perbuatan Al-Hajjaj, tapi surat itu bocor dan diketahui Al-Hajjaj. Al-Hajjaj menanggapinya dengan mengatakan pada Al-Walid melalui surat bahwa semua kebijakan yang dia ambil dibuat untuk mengamankan keadaan negara, juga kemudian berbalik menyalahkan 'Umar bin 'Abdul 'Aziz lantaran dipandang terlalu lemah dalam menghadapi para penentang yang dikhawatirkan akan melemahkan pengaruh Umayyah. Sebagai catatan, Al-Hajjaj adalah tangan kanan khalifah sejak masa 'Abdul Malik bin Marwan yang berkuasa selama lebih dari dua dekade. Pengaruh Al-Hajjaj semakin menguat pada masa Al-Walid lantaran Al-Walid merasa berutang budi pada Al-Hajjaj atas dukungannya. Sesuai saran Al-Hajjaj, Al-Walid memberhentikan 'Umar bin 'Abdul 'Aziz, kemudian mengangkat 'Utsman bin Hayyan sebagai Gubernur Makkah dan Khalid bin 'Abdullah sebagai Gubernur Madinah.

Setelah dicopot jabatannya, 'Umar bin 'Abdul 'Aziz berada di istana Al-Walid di Damaskus. Menurut sejarawan 'Abbasiyah Ahmad Al-Ya'qubi, 'Umar melakukan shalat jenazah pada Al-Walid saat dia mangkat pada 715.