二战爆发后，罗伯特·莱伊的重要性有所下降。募兵导致的劳动力减少以及战争带来的资源分流导致德国劳工阵线和“力量来自欢乐”的地位大大下降，“力量来自欢乐”的活动几陷停滞。罗伯特·莱伊酗酒和反复无常的性格在战争时期也饱受诟病，军备部长弗里兹·托特和其后任阿尔伯特·斯佩尔取代了他的职责。此时德国劳动力主要依靠来自法国的外籍工人以及来自波兰、乌克兰和其他东欧国家的奴隶劳工。莱伊在该方案中起到了一些作用，但处在弗里兹·绍克尔的领导下。罗伯特·莱伊与当时对外籍奴隶劳工的虐待行为紧密相关。另外，尽管他的地位有所下降，他