Милх је почео да губи поверење код својих надређених током операције Барбароса. Луфтвафе ту није поновио своје раније успехе, и после пораза у бици за Москву, почела су да се постављају питања да ли се Луфтвафе води на прави начин. Јозеф Гебелс и Хајнрих Химлер заједно са Милхом су покушали да изврше притисак на Хитлера да смени Геринга. Овај је то одбио. Након тога, Геринг је искористио свој утицај да натера Милха да поднесе оставку на место диркетора ваздушног наоружавања. Након тога, Милх је морао да ради под командом Алберта Шпера који је био министар за наоружање.