Størst suksess som manager hadde han da han flyttet til naborivalene fra Yorkshire, Leeds United. Han signerte kontrakten 10. oktober 1988, da han overtok etter legenden Billy Bremner. Stor var overraskelsen da styreformann i Leeds United, Sir Leslie Silver, brøt tradisjonen og ansatte en som ikke tidligere hadde hatt noe med klubben å gjøre. Det ble på denne tiden spekulert i at Howard Kendall var klubbens førstevalg. Han var likevel utelukket siden han var fornøyd med å være manager i Spania. Wilkinson hadde gått fra å være supporter, spiller og deretter manager for Sheffield Wednesday. Wilkinson hadde følt det som han ikke hadde skikkelig støtte fra styret lenger i den klubben, kanskje fordi han i løpet av alle årene ennå ikke hadde vunnet noe. Men sannheten var at Sheffield Wednesday hadde nektet å åpne pengesekken de siste to årene. I Leeds derimot hadde Wilkinson blitt lovet midler og full frihet. Wilkinson har i intervju sagt at «trening, coaching, ungdomsarbeid og organisasjon er viktig, men disse elementene kan bare få klubben din et visst stykke på vei. Jeg mener at forskjellen mellom gode lag og de beste lagene er ressursene til å få tak i de eksepsjonelle spillerne, de som virkelig kan utgjøre en forskjell».