Da han vendte tilbage til Storbritannien fra Tunis, fik han først kommandoen over 2. armé under forberedelserne til landgangen i Normandiet, men kritikken fra Alexander og Montgomery (som i marts 1943 havde skrevet til Alexander: "... det er åbenlyst at Anderson er komplet uegnet til at lede en hvilken som helst armé" og senere beskrev ham som "en god almindelig kok") var blevet hørt, og i januar 1944 blev han udskiftet med Miles Dempsey. Anderson fik overdraget Eastern Command, hvilket blev set som en degradering. Hans karriere i felten var ovre og hans sidste rent militære post var som øverstkommanderende i Østafrika.