В 1802 году А. С. Сулима, с закрытием Генерального суда, вышел в отставку в чине тайного советника, причём был награждён пожизненной пенсией в 1200 рублей в год и 22 сентября 1802 года пожалован орденом Святого Владимира 2-й степени большого креста. В 1805 году был назначен колонновожатым в Свиту Его Величества по квартирмейстерской части под команду генерал-квартирмейстера П. К. фон Сухтелена, с которым присутствовал при битве под Аустерлицем.