پس از عزل گودریان در سپتامبر ۱۹۴۲، او نزد همسرش و املاک‌اش بازگشت، زمانی که اروین رومل به دلیل مشکلات جسمانی در آلمان به سر می‌برد ستاد کل ارتش به گودریان به عنوان تنها کسی که می‌تواند به‌طور موقت جایگزین رومل گردد پیشنهاد فرماندهی قوای موجود در آفریقا را نمود، اما گودریان قاطعانه پاسخ منفی داد. پس از شکست آلمان را در نبرد استالینگراد در فوریه ۱۹۴۳، گودریان به سمت بازرس کل نیروهای زرهی منصوب شد. در این مسئولیت گودریان به بازسازی و مدرنیزه کردن نیروهای زرهی و نظارت بر طراحی و تولید تانک و آموزش نیروهای زرهی مشغول شد. او گزارش‌های خود را به‌طور مستقیم به هیتلر ارائه می‌نمود.