1964年他出任苏联国防部长助理，主管高等军事院校。1957年叙利亚危机时，赫鲁晓夫把他派往苏联和伊朗边境，一旦土耳其入侵叙利亚，就准备对土耳其进行军事行动。1964年4月起任苏联国防部总监察组总监这一闲职，相当于退休。1968年去世后葬于莫斯科克里姆林宫红场墓园。莫斯科、列宁格勒、彼得罗扎沃茨克都有用他的名字命名的街道，提赫温有以他名字命名的广场和他的纪念碑。梅列茨科夫资历较深，参加过俄国内战和西班牙内战，苏芬战争后被斯大林提拔，二战之前已是当时苏军仅有的5名大将之一。斯大林惯于戏称梅列茨科夫“机灵的