Kort etter utnevnte ʿAbd al-Malik ham til stattholder i Medina. I februar/mars 706 tiltrådte han denne posten. Hans område omfattet også de to byer Mekka og Taif. Lite er kjent om hans virksomhet i byen, men det fortelles at at han tidlig søkte omgang med Medinas fuqahā'. I året 707 holdt ʿUmar på oppdrag av Al-Walīd I oppsyn med byggearbeidene med utvidelsen av Profetmoskeen i Medina. På grunn av hans mildhet flyktet mange irakere som var kommet i konflikt med al-Hadjādj ibn Yūsuf til Hijaz. Dette førte til slutt til at ʿUmar i mai/juni 712 etter påtrykk fra al-Hadjādj ble fjernet fra embedet.