От генеральского звания при назначении отказался. Был выдвинут Н. С. Хрущёвым с поставленной задачей перестраивать работу Комитета в соответствии с решениями XX съезда партии: ускорить десталинизацию и искоренить нарушения социалистической законности. Провёл масштабную реорганизацию Комитета с сокращением рабочего аппарата на несколько тысяч человек, при этом активно привлекал на работу выходцев из комсомола; основательно перестроил структуру Комитета, вместо целевых оперативных подразделений образовав единый централизованный орган управления.