动几陷停滞。罗伯特·莱伊酗酒和反复无常的性格在战争时期也饱受诟病，军备部长弗里兹·托特和其后任阿尔伯特·斯佩尔取代了他的职责。此时德国劳动力主要依靠来自法国的外籍工人以及来自波兰、乌克兰和其他东欧国家的奴隶劳工。莱伊在该方案中起到了一些作用，但处在弗里兹·绍克尔的领导下。罗伯特·莱伊与当时对外籍奴隶劳工的虐待行为紧密相关。另外，尽管他的地位有所下降，他仍得到希特勒赏识，并在战争结束前几个月还处在马丁·鲍曼和戈培尔等希特勒的内部圈子中。1941年，他被给予帝国住房处长的新职位。他了解灭绝欧洲犹太人的最