Sent i 1941 skal Adolf Hitler ha krevd at von Loßberg skulle bli fjernet fra staben ved overkommandoen på grunn av offiserens kritiske holdning til kommando- og kontrollstrukturen ved overkommandoen. Dette førte til at von Loßberg tjenestegjorde ved en rekke mindre viktige poster under resten av krigen.