1964年,赫鲁晓夫被迫下台以后,勃列日涅夫并没有处置他,而是给了他一座别墅养老。退休金为每月500卢布,汽车可以随便使用,只是警卫被换了,人身自由受到了一些限制,他只能呆在自己的别墅里面生活。赫鲁晓夫每天要做的事情就是看报纸,或者在花园散步。在下台的第二天,他的妻子尼娜·彼得罗芙娜从休养地捷克斯洛伐克干了回来陪他。
在以前,他的住所往往门庭若市,好友如云,现在门可罗雀,隐居在家。只有医生别祖比克定期来探望,开点镇静药,聊聊生活,讲讲新闻。赫鲁晓夫下台不久,勃列日涅夫在红场举行了盛大的英雄欢迎仪式。赫鲁晓夫在家中坐在电视机前看到赫鲁晓夫在红场讲话,这一幕让赫鲁晓夫忍不住黯然神伤,嘟嚷着让司机带他取郊外出门散心。很快消息传到了勃列日涅夫哪里,耳语过后勃列日涅夫下达,不惜一切代价,阻止老上级来红场砸场子。勃列日涅夫以为赫鲁晓夫想到红场,其实赫鲁晓夫只是想去郊外散步。不过这件事以后,赫鲁晓夫被迫在新年后搬家。