6 января 1865 г. Своев был назначен начальником 19-й пехотной дивизии, расположенной на Кавказе. Здесь ему пришлось принять самое деятельное участие при погашении последних вспышек горского сопротивления. 1864 год, год покорения Западного Кавказа, был последним актом упорной войны, длившейся несколько десятилетий. Тем не менее, ещё имелись остатки сопротивления.