Hans første trenerrolle kom i den skotske klubben Forfar Athletic mellom 1976-80, da han var spillende manager. Dette var klubben han først begynte sin ligakarriere i, mellom 1965-70. I 1980 ble han assisterende manager for Alex Ferguson i Aberdeen, der han hjalp laget å vinne to skotske cuper, den europeiske Cupvinnercupen og deretter den påfølgende Supercupen. Alt dette i løpet av tre år. I 1983 returnerte Knox til manageryrket, da han var 2,5 år som leder for Dundee. Et kort opphold i Aberdeen fulgte, før han fulgte sjefen Ferguson til Manchester United, hvor han ble værende til 1991. På dette tidspunktet returnerte han til Skottland, der han ble assisterende manager for Walter Smith i Rangers FC. Sammen vant de seks titler på de neste syv sesongene. I juli 1998 ble duoen hentet til Everton, hvor de ble værende til mars 2002.