Graham kom tilbake som manager i september 1996, i Leeds United. Selv om Leeds scoret minst mål av alle «premiership»lagene (28), klarte de likevel en sikker 13.-plass. i 1997–1998-sesongen kom laget på femteplass og sikret seg plass i UEFA-cupen.