В 1859 году был послан на Кавказ в распоряжение графа Н. И. Евдокимова; с 16 декабря 1860 года был обер-квартирмейстером войск Терской области; полковник с 30 августа 1861 года. По замирении Кавказа опять служил в Оренбургском крае, в должности начальника штаба при генерале А. П. Безаке. В 1864 году, вследствие разногласия с последним по вопросу об управлении башкирами, вернулся в Санкт-Петербург. Тогда предстояло провести на севере Средней Азии соединительную линию между двумя степными укреплёнными линиями — Оренбургской и Сибирской, для чего решено было захватить несколько укреплённых пунктов в пределах промежуточной территории, которая тогда входила в состав Кокандского ханства. Осуществление этого проекта было поручено полковнику Черняеву, с назначением его начальником Особого Западно-Сибирского отряда (ОЗСО).