Wise spilte sentral midtbane og ble kjent for sin aggressive og «gi-alt» holdning. Hans karriere gikk over 20 år, der han spilte for Wimbledon, Leicester City, Millwall, Southampton, Coventry City. Han gjorde seg imidlertid mest bemerket i Chelsea. I sin tid som spiller på Stamford Bridge vant han mange trofeer og ble klubbens til da mest suksessfulle kaptein.