5 октября 1862 года Кармалин был переведён на Кавказ в распоряжение командовавшего Кавказской армией. По прибытии к месту назначения временно исправлял должность генерал-квартирмейстера действующей армии, потом командовал войсками, расположенными на левом берегу реки Алазань и исправлял должность начальника Верхнего Дагестана. За отличие в делах против горцев награждён орденом св. Владимира 3-й степени с мечами. 4 сентября 1865 года утверждён в должности военного начальника Среднего Дагестана.