I de siste årene av spillerkarrieren ble Wise gradvis mer involvert i jobb som manager. Det startet i Millwall FC der han ble spillende manager, og ledet laget til FA-cupfinalen i 2004 mot Manchester United. En kort periode var han midlertidig manager i Southampton FC, etter at Harry Redknapp sluttet. Etter dette tok han over som manager i Swindon Town på permanent basis. I oktober 2006 overtok han som manager for Championship-laget Leeds United, som befant seg i nedrykksposisjon. Selv om de til slutt rykket ned på tampen av sesongen, forvandlet Wise laget totalt. Påfølgende sesong startet Leeds glimrende i sin første sesong på det tredje nivået i Engelsk fotball.