Daarentegen ontstond binnen de Wehrmacht onder steeds meer leden een afkeer van de nazi-ideologie en dat reeds vanaf 1938 binnen het leger verzet werd gepleegd tegen het regime. Het bekendste geval hiervan is de mislukte aanslag op Hitler, en daaropvolgende staatsgreep, die een groep rond kolonel Claus Schenk von Stauffenberg op 20 juli 1944 pleegde (deze staatsgreep werd echter reeds binnen enkele uren door het nazi-regime verijdeld). Ook zijn er met zekerheid een aantal gevallen bekend (waaronder sergeant Anton Schmid en kapitein Wilm Hosenfeld) van soldaten van de Wehrmacht die joden hebben geholpen uit de handen van de nazi's te blijven. Tevens zijn er gevallen bekend van bevelhebbers die orders om joden en/of krijgsgevangenen te executeren, niet hebben uitgevoerd of doorgegeven (voorbeelden daarvan zijn veldmaarschalk Erwin Rommel en zelfs een aantal (lokale) bevelhebbers aan het oostfront).