Оржицкий предпочел тот род службы, которого избегали первые Разумовские. События Отечественной войны 1812 года приводят его в армию. 21 июля 1813 года Оржицкий вступил юнкером в Ахтырский гусарский полк. Участвовал в заграничных походах 1813—1815 годов (Лейпциг, Фридрихсдорф, Фер-Шампенуаз). 14 марта 1819 года в связи с болезнью уволен с военной службы в звании штабс-ротмистра.