В Великой Отечественной войне А. А. Дементьев участвовал с 22 июня 1941 года, был командиром взвода 16-го танкового полка этой дивизии. Участвовал в тяжелейших боях приграничного оборонительного сражения в Прибалтике, затем в обороне Новгорода. После расформирования дивизии, оставшейся без танков, в октябре 1941 года зачислен в формирующуюся в Наро-Фоминске 28-ю танковую бригаду командиром танкового взвода, а в марте 1942 года стал адъютантом танкового батальона этой бригады. С октября 1941 года в составе бригады сражался на Западном фронте, участник битвы за Москву, был награждён Орденом Красного Знамени. В июне 1942 года был адъютантом командующего 30-й армией Калининского фронта генерала Д. Д. Лелюшенко, но очень скоро был ранен. После выздоровления, с ноября 1942 года — адъютант командующего 3-й гвардейской армии (командующим к тому времени стал тот же Д. Д. Лелюшенко). Сражался в Сталинградской битве и в Ворошиловградской наступательной операции.