В 1804 году был произведён в офицеры лейб-гвардии 1-й артиллерийской бригады. Участвовал в Войне Третьей коалиции, Русско-турецкой войне, Отечественной войне 1812 года и Заграничных походах. В 1805 году проявил героизм и смекалку артиллериста в Аустерлицком сражении. В кампанию 1812 года, уже в чине капитана, стал адъютантом главнокомандующего 1-й Западной армией Барклая-де-Толли. Молодой офицер начинает Отечественную войну при штабе командующего армией Михаила Барклая-де-Толли, но потом возвращается к орудиям. В Бородинском сражении командовал гвардейской артиллерийской ротой, почти полностью погибшей при отражении атак неприятеля на Измайловский полк. Сам капитан Вельяминов получил ранение, но поле боя не оставил. Когда французские войска покидают Россию, Вельяминов проходит путь от штабс-капитана до полковника в добивающих Наполеона заграничных походах 1813-1814 годов. И в рядах победителей входит в Париж. Вельяминов А.А. обратил на себя внимание генерала Ермолова, также артиллериста, поэтому, когда Алексей Петрович Ермолов в 1816 году был назначен главным начальником Кавказского края, он сделал Вельяминова своим начальником штаба. Правильнее сказать, Ермолов на этой должности не видит никого другого, кроме полковника Вельяминова (а должность-то генеральская!). Через два года, на двадцать восьмом году от рождения, Вельяминов был уже генералом. С Ермоловым они находились в самых дружеских отношениях, и эта дружба была настолько крепка, что, невзирая на различия в должностях, званиях и разницу в возрасте, они зовут друг друга просто по имени – Алеша.