В 1834 году Панфилов был переведён по собственному желанию в Черноморский флот и в 1835 году в чине лейтенанта (произведён в 1830 году) командовал тендером «Луч». После двухлетнего плавания в Архипелаге, Панфилов поступил на службу на Кавказский берег в звании дежурного штаб-офицера и в течение десяти лет участвовал в занятии мест кавказского берега, лично распоряжался десантами и амбаркациями для укрепления возникшей Черноморской береговой линии, причём особенно отличился в деле с горцами 3 октября 1838 года при высадке десанта в Субаши на Кавказе, за что произведён в капитан-лейтенанты.