Anderson spilte for United i 3 år, men slet mye med skader og ble derfor innvilget fri-transfer. Sheffield Wednesday ble neste stopp i januar 1991, og da hjalp han klubben til opprykk fra 2. divisjon. Han gikk glipp av seieren i ligacupfinalen mot Manchester United, fordi han hadde spilt for nettopp dem i tidligere runder. Han var egentlig tiltenkt en kortsiktig kontrakt med Sheffield-klubben, men etablerte seg snart på laget, og hadde rollen som kaptein ved mange anledninger. Han spilte en stor rolle da klubben endte på 3.-plass i ligaen i 1991-92 (siste sesong før Premier League ble innført). I 1992-93 endte laget på 7.-plass, samtidig som de tapte finalene mot Arsenal i både FA-cupen og Ligacupen.