Duesterberg ble imidlertid tilbudt en plass som arbeidsminister i Hitlers regjering da denne ble rikskansler året etter, et tilbud Duesterberg blankt avslo. Men hans lederkollega i Stahlhelm, Franz Seldte tok deretter i mot tilbudet og inn i Hitlers regjering og dette undergravde både Stahlhelm og Duesterbergs autoritet innen organisasjonen og han trakk seg fra denne i løpet av 1933.