В 1803 году Портнягин вместе с Нарвским драгунским полком переведён был на Кавказскую линию. С прибытием на Кавказ начинается непрерывная боевая деятельность этого «храбрейшего из храбрых», как его называл главнокомандующий на Кавказе, князь Цицианов.