В феврале 1942 года Васильев был призван на службу в Рабоче-крестьянскую Красную Армию, первоначально был шофёром службы тыла Юго-Западного фронта. С января 1943 года — на фронтах Великой Отечественной войны, был шофёром, затем командиром транспортного взвода. Принимал участие в боях на Воронежском, 1-м Украинском и 2-м Белорусском фронтах. Участвовал в Воронежско-Касторненской и Белгородско-Харьковской операциях, Курской битве, освобождении Украинской ССР, битве за Днепр на Лютежском плацдарме, освобождении Киева, Львовско-Сандомирской, Висло-Одерской операциях. К октябрю 1943 года старший сержант Андрей Васильев временно командовал взводом транспортной роты 269-го стрелкового полка 136-й стрелковой дивизии 38-й армии Воронежского фронта. Отличился во время освобождения Киевской области.