Представитель дворянского рода Всеволожских. Родился 8 ноября 1772 года в семье генерал-поручика Сергея Алексеевича Всеволожского и его жены Екатерины Андреевны Зиновьевой (даты в статье даются по юлианскому календарю). В 1786 году поступил на службу в Семёновский лейб-гвардии полк. Принимал участие в Русско-шведской войне (1788—1790), Русско-польской войне (1792) и в подавлении Восстания Костюшко (1794). 28 июня 1792 года был награждён орденом Святого Георгия IV степени. В 1796 году вышел в отставку в звании полковника, позднее поступил в Коллегию иностранных дел.