Da al-Walīd vokste opp ble den herskende kalifen mer og mer misfornøyd med ham, og oppfordret ham til og med til å si fra seg sitt krav på stillingen som kalif til fordel for Hišāms sønn. Hišām likte ikke al-Waliīds løsaktige livsstil med mye drikking, og han beordret al-Walīd til å sende bort sine nærmeste drikkekamerater. Han trakk også tilbake nevøens ressurser, og oppfordret ham til å bry seg mer om religiøse saker.