В. Ф. Адлерберг воспитывался в Пажеском корпусе (вместе с будущим декабристом П. И. Пестелем). Произведённый 14 декабря 1811 года в прапорщики, Адлерберг в рядах лейб-гвардии Литовского полка принял участие в Отечественной войне и в Заграничном походе, сражаясь при Витебске, Смоленске, Бородине, Тарутине, Малоярославце, Красном, Люцене, Бауцене, Кульме, Лейпциге, Бриенне, Арси-сюр-Обе и под Парижем. Особенно отличился в сражении под Бородиным, а также в битвах при Люцене и Бауцене. В августе 1813 года произведён в подпоручики и в январе 1816 года — в поручики. Масон, принимал участие в собраниях военно-походных лож во время заграничных кампаний русской армии.