13 апреля 1864 года поступил на военную службу унтер-офицером в 74-й Ставропольский пехотный полк, который вёл в то время боевые действия на Западном Кавказе. В составе того полка в том же году принял участие в ряде экспедиций против горцев. После окончания Кавказской войны Фелицын в декабре того же 1864 года вышел в отставку «без именования воинским званием», но в декабре 1867 года вновь вступил в службу и был определён в 76-й Кубанский пехотный полк. В июле 1869 года был командирован в Тифлисское пехотное юнкерское училище для прохождения там курса. 2 июня 1871 года был переименован в портупей-юнкеры. По окончании курса по 1-му разряду Фелицын 20 октября 1872 года был произведён в первый офицерский чин прапорщика. В 1875 году по собственному желанию был переведён в Екатеринодарский конный полк Кубанского казачьего войска с переименованием в хорунжие, и в том же году был прикомандирован к штабу Кубанского казачьего войска.