托夫的妻子热姆丘任娜因支持犹太人的言论遭到了斯大林的迫害，莫洛托夫被解除了外长职务，但莫洛托夫至始至终都在坚定地支持斯大林，在斯大林去世后重新兼任外交部长。由于反对苏共二十大后的反斯大林和去斯大林化政策而于1957年被打为“反党集团”头目，被降为驻蒙古人民共和国大使。1964年被开除党籍，勒令退休。1984年被恢复党籍，1986年去世。是列宁的战友中，少数几个活到20世纪80年代的。
思想.从1969年－1986年的17年间，莫洛托夫接受了苏联着名记者丘耶夫139次采访，谈了许多问