于1927年秋天被从法国召回苏联。在12月的联共（布）十五大上，他支持托洛茨基，批评斯大林主义是“”和“社会法西斯主义”，最后托洛茨基落败并被开除出党，拉科夫斯基也遭到放逐。1934年，他曾短暂地恢复职位，但后来被内务人民委员部逮捕。拉科夫斯基成为第三次莫斯科审判的21名被告人之一，被判处二十年劳动改造，发配到。纳粹德国入侵苏联时，根据斯大林的命令，拉科夫斯基与超过150名政治犯一起被带出监狱枪决，此事件即为梅德韦杰夫森林大屠杀。1988年，拉科夫斯基获得苏联政府的平反。