След нахлуването в Съветския съюз през юни 1941 г., Тот е назначен да ръководи възстановяването на инфраструктурата там. Същата година започва да става все по-дистанциран от командирите на Вермахта, но най-вече от райхсмаршал Херман Гьоринг, който е главнокомандващ на Луфтвафе. След обиколка за инспекция на Източния фронт, Тот се оплаква на Хитлер, че без по-добро оборудване и провизии за въоръжените сили би било по-добре да се приключи войната със Съветския съюз. Той смята, че във военно и икономическо отношение, Германия вече е загубила войната. Хитлер отхвърля оценката му и продължава офанзивата си.