962年4月起任苏联国防部总监组总监。他根据以往战争经验和军事上的科学技术革命，为战后时期苏联武装力量的发展做了大量工作。罗科索夫斯基在1956到1968年出任苏共中央候补委员。1968年8月3日罗科索夫斯基在莫斯科病逝，享年72岁，葬于红场克里姆林宫墙下。
荣誉.罗科索夫斯基在其军旅生涯屡获各类型勋章奖章。他曾获苏联最高级别的军功勋章－胜利勋章。在其死后，也获得了列宁勋章七次。以下为其所获得的部分荣誉：
着作.《军人的天职》（又称罗科索夫上将回忆