По окончании курса в Дворянском полку в 1817 г. в чине прапорщика был назначен в 48-й егерский полк, в котором прослужил 11 лет. В 1828 году Ольшевский был переведён с чином штабс-капитана в лейб-гвардии Волынский полк и затем состоял сначала адъютантом при начальнике 19-й пехотной дивизии, а потом старшим адъютантом при начальнике 14-й пехотной дивизии. В этой должности ему пришлось принять горячее участие в покорении Кавказа; за ряд отличий он получил несколько наград, в 1835 г. произведён был в полковники с назначением для особых поручений при генерал-лейтенанте Вельяминове, командующем войсками на Кавказской линии, резиденцией которого был Ставрополь, а через три года был произведён в генерал-майоры.