法国的外籍工人以及来自波兰、乌克兰和其他东欧国家的奴隶劳工。莱伊在该方案中起到了一些作用，但处在弗里兹·绍克尔的领导下。罗伯特·莱伊与当时对外籍奴隶劳工的虐待行为紧密相关。另外，尽管他的地位有所下降，他仍得到希特勒赏识，并在战争结束前几个月还处在马丁·鲍曼和戈培尔等希特勒的内部圈子中。1941年，他被给予帝国住房处长的新职位。他了解灭绝欧洲犹太人的最终解决方案，莱伊通过他的出版物和演讲表达激进的反犹太主义。1941年2月，他曾在一次会议上与希特勒、施佩尔、马丁·鲍曼和威廉·凯特尔元帅，阐述了他对“犹