1934年12月1日，苏联政治风头正盛的列宁格勒州委书记谢尔盖·基洛夫在斯莫尔尼宫三层被刺客枪击头部身亡。斯大林对此案高度重视，他亲自前往列宁格勒参与调查和审讯，并且宣称此次暗杀是由托洛茨基及其反对派所策划，开始针对老布尔什维克的清洗。1935年2月原内务人民委员部的党中央书记亨里希·雅戈达被尼古拉·叶若夫接替。同时安德烈·维辛斯基被任命为检察长。斯大林以“托洛茨基－季诺维也夫反苏联合总部”的名义逮捕季诺维也夫、加米涅夫等人，以逼供手段迫使他们认罪，最后于1936年8月在莫斯科公审将他们处死。不久后，又以“托洛茨基反苏军事组织”的指控处决图哈切夫斯基等红军将领。1938年3月针对“右派和托派反苏联盟”，斯大林又以同样的手段处决布哈林等人。1938年4月内务部的叶若夫被拉夫连季·贝利亚接替，失势的雅戈达、叶若夫均遭到清洗。1940年，身在墨西哥的托洛茨基被苏联特务刺杀。大清洗最终变成对党、政、军、中央、地方干部的全面清洗和镇压，受害者的人数至少在70万人以上 。列宁时代的政治局成员“老布尔什维克”只剩下斯大林，米哈伊尔·加里宁和莫洛托夫三人，苏联元帅中的五人只剩下伏罗希洛夫和布琼尼两人(因為此两人能力平庸)。