Стюарт был назначен прапорщиком в 1-м гвардейском полку в 1794 году, повышен до лейтенанта и капитана в 1797 году. В 1798 году он служил в Ирландии во время ирландского восстания с 3-м батальоном. В 1799 году он сопровождал батальон в англо-русском вторжении в Голландию и участвовал в боях 27 августа, 10, 19 сентября и 2 октября. В июле 1806 года он отправился на Сицилию и вернулся в январе 1808 года. В 1807 году получил звание капитана и подполковника. В 1809 году он служил в экспедиции в Вальхерен.