Шести лет Ставицкий был привезён в Петербург и определён в Артиллерийский и инженерный кадетский корпус. Получив «"за примерные успехи в науках и отличное поведение"» звание капрала, а потом сержанта и золотую медаль, он в 1791 году был выпущен штык-юнкером в артиллерийский батальон Балтийского гребного флота, откуда через год перешёл в бомбардирский полк и поступил в состав войск, расположенных в Польше. В июле 1794 года он вместе с другими был захвачен восставшими поляками в плен и содержался там до вступления в Варшаву А. В. Суворова. Как один из участников рассеяния конфедератов, Ставицкий по окончании военных действий был награждён чином подпоручика.