В начале Великой Отечественной войны А. А. Филимонов был отправлен в эвакуацию и 17 июля 1941 года призван на службу в Рабоче-крестьянскую Красную Армию. В 1942 году он окончил Орловское бронетанковое училище имени М. В. Фрунзе. С июля 1943 года — на фронтах Великой Отечественной войны. Весь боевой путь прошёл командиром танкового взвода и танковой роты в рядах 5-го гвардейского механизированного корпуса, который воевал на Воронежском, Степнои, 1-м Украинском и 2-м Украинском фронтах. Участвовал в Белгородско-Харьковской, Нижнеднепровской, Пятихатской, Знаменской, Днепровско-Карпатской, Кировоградской, Западно-Карпатской, Берлинской и Пражской операциях. В боях неоднократно был трижды ранен.