Après le déclenchement de l'« Opération Barbarossa » en juin 1941, Schmidt lui-même ne visite le front que pour encourager ses recrues, mais reste très actif à l'arrière, notamment sur le plan logistique et diplomatique. Il obtient du maréchal roumain que les Allemands de Roumanie qui le demandent puissent être exemptés de service militaire dans l'armée roumaine (qu'il qualifiait de « chaotique, corrompue, lâche et inefficace jusque dans l'extermination des juifs ») s'ils s'enrôlaient dans la Waffen-SS et grâce à ses efforts, le , après la défaite de Stalingrad, Hitler et Antonescu signent un accord transférant les recrues germanophones de l'armée roumaine dans la Wehrmacht. Environ soldats, représentant 80 % des recrues germanophones, sont concernés.