Als die große Zeit von Nottingham Forest zu Ende ging (die nächste Trophäe nach dem Europapokalerfolg von 1980 folgte erst neun Jahre später), schien auch Andersons internationale Karriere zu stagnieren. Nach der Weltmeisterschaft und dem Abgang Greenwoods wurde er von dem neuen Trainer Bobby Robson bis 1984 nicht mehr berufen und Neal weiterhin bevorzugt. England verpasste die Qualifikation zur EM 1984 in Frankreich und Anderson kam nach zweijähriger Abwesenheit im April 1984 zu seinem elften Länderspiel. Im gleichen Jahr wechselte er für 220.000 britische Pfund zum FC Arsenal und erhoffte sich dadurch eine Wiederbelebung seiner Karriere.