5 мая 1858 года произведён в поручики и с 13-м стрелковым полком (бывший 5-й стрелковый батальон) был командирован на Кавказ, где поступил в состав гарнизона укрепления Анапы. Здесь он участвовал в разорении находившихся близ укрепления и Корсунской станицы завалов, а также при разбитии 9 мая 1859 года полуторатысячного неприятельского отряда. 15 июля 1859 года 13-й стрелковый полк возвратился в Центральную Россию и Гончаров был награждён за отличие в Кавказских походах орденом св. Станислава 3-й степени с мечами и бантом.