С 1859 г. началась боевая служба Бульмеринга на Кавказе. Находясь при Адагумском отряде и участвуя в военных действиях против горцев, Бульмеринг был произведён за боевые отличия в капитаны и в 1862 г. награждён орденом св. Станислава 2-й степени с мечами.