Harkes won in 1991 de League Cup met Sheffield Wednesday als underdog tegen Manchester United. Sheffield was namelijk tweedeklasser, maar zou in 1991 promoveren. Harkes verloor nog eens twee finales in zijn laatste seizoen bij de club. De finale van de FA Cup én de finale van de League Cup – waarin hij de club op voorsprong bracht – werden verloren tegen Arsenal, dat toen onder leiding stond van George Graham. De FA Cup-finale tegen Arsenal werd beslist met een replay.