29 марта 1801 г. полк был наименован Саратовским мушкетёрским полком и в 1803 г. отправлен на Кавказ, на берег Кубани, для охраны границы от набегов горцев. Самым заметным фактом в Кавказской эпохе полка было его участие в походе на Эривань. В отряде князя Цицианова, под командованием полковника Спиридонова, полк принял участие в бою с полчищами Аббас-Мирзы 20 июня 1804 г. и в победоносном штурме Эривани 2 июля того же года. Особенно отличился полк под личным руководством своего шефа генерал-майора Несветаева в бою на реке Арпачае 18 июля 1807 г. и при осаде Ахалциха в ноябре 1809 г.