(16) июня 1859 года Шипшеву был присвоен чин ротмистра. В 1860 году в чине капитана он был направлен на Северный Кавказ с назначением на должность участкового начальника Черкесского участка Кабардинского округа Терской области. С (13) июля 1861 по (30) августа 1862 годы исполнял должность помощника начальника Кабардинского округа, состоял по армейской пехоте. С 1861 по 1863 годы принимал участие в военных действиях против горцев. (31) октября 1862 года Шипшев был награждён орденом Св. Станислава 3-й степени, а (23) ноября того же года назначен командиром Кубанского конно-иррегулярного эскадрона с зачислением по армейской кавалерии. (21) февраля 1863 года «за отличие против горцев» был награждён орденом Св. Анны 3-й степени с мечами и бантом.