A differenza di molti imputati, come Bucharin e Rykov, uccisi poco dopo il processo in virtù della sentenza di morte, Rakovskij ed altri furono condannati a lunghe pene detentive. Tuttavia nella tarda estate 1941, mentre Rakovskij era internato nella prigione di Orël, non lontano dal confine occidentale dell'URSS, e le truppe tedesche in avanzata si stavano pericolosamente avvicinando, l'NKVD, su ordine del nuovo ministro degli interni Berija, il 5 settembre preparò un elenco di centosettanta prigionieri politici incarcerati nella prigione locale i quali avrebbero dovuto essere soppressi immediatamente per evitare il rischio che cadessero nelle mani degli invasori. L'elenco, che includeva Rakovskij, fu sottoposto all'attenzione di Stalin in persona, con la raccomandazione di Berija che fossero tutti fucilati «per aver condotto propaganda disfattista tra i carcerati e per aver progettato la fuga dalla prigione allo scopo di rinnovare le loro attività sovversive». Stalin, l'indomani, approvò e emise l'ordine esecutivo. L'11 settembre Rakovskij ed altri 156 prigionieri, tra cui la socialrivoluzionaria di sinistra Marija Spiridonova e Olga Kameneva, sorella di Trockij e vedova di Kamenev, furono tradotti in una sala comune, costretti ad ascoltare la condanna a morte formulata nei loro confronti e quindi trasportati nei boschi detti "Medvedevskij les" (Foresta degli orsi). Lì furono sommariamente fucilati e interrati in fosse preparate precedentemente, che poi furono ricoperte di terra. In tutta la zona vennero quindi ricollocati gli alberi precedentemente espiantatati, in modo da rendere così irriconoscibile il luogo. Nel 1990 nei boschi del "Medvedevskij les" è stato eretto un cippo commemorativo delle vittime del terrore staliniano. L'esatta ubicazione delle fosse non è mai stata ritrovata.