Керований патріотизмом і любов'ю до пригод Орловський в 1794 році поступив на службу в польське військо, брав участь у кількох битвах повстання Костюшка і, будучи поранений в одній з них, повернувся до Варшави. Тут він став вести безладне життя і навіть пристав до трупи фокусника. Норблен, цінуючи його артистичне дарування, намагався відхилити його від цих походеньок і знову прийняв у свій будинок. З тієї пори Орловський присвятив себе цілком мистецтву, яке незабаром доставило йому деяку популярність серед варшав'ян.