Erheblich an Macht verlor Darré durch die Einbindung der Landwirtschaft in den Vierjahresplan. Während seiner Zeit als Landwirtschaftsminister machten sich immer wieder Konflikte mit anderen Politikern bemerkbar: zum Beispiel standen Hjalmar Schacht und er in einem ständigen Devisenstreit, wodurch er zusehends an Einfluss verlor. Der Beginn des Zweiten Weltkrieges und die daraus folgende vollständige Unterstellung des Reichsnährstandes unter das Reichsernährungsministerium war einer endgültigen Entmachtung Darrés gleichzusetzen. Darré hatte schon zuvor viel Einfluss an Herbert Backe verloren, nachdem dieser eine Stelle in der Göring unterstellten Leitung des Vierjahresplanes annahm. Darré war bis zum 16. Mai 1942 Reichsminister für Ernährung und Landwirtschaft, dann wurde er, zumindest offiziell, aufgrund seines Gesundheitszustandes beurlaubt. Tatsächlich war das Verhältnis zwischen Darré und Himmler seit Ende der 1930er Jahre getrübt, während die Beziehung zwischen Himmler und seinem Staatssekretär Backe immer besser wurde. Zudem hatte er Hitler mit einem Vorschlag für eine drastische Kürzung der Lebensmittelrationen verärgert, welche zu unpopulär für die momentane prekäre Lage nach Stalingrad und El Alamein gewesen wäre.