В боях с немецко-фашистскими захватчиками Александр Александрович с 22 июня 1941 года. Воевал на Южном фронте в должности заместителя политрука 150-го отдельного батальона связи 82-го Тираспольского укрепрайона. С первого дня войны часть, в которой служил Александр Александрович, держала оборону по реке Днестр. В ходе приграничного сражения в Молдавии политработник обеспечил связь попавших в окружение частей с командованием, а позднее вместе с окруженцами вырвался из котла. С июля 1941 года воевал в прежней должности в составе 10-го отдельного батальона охраны полевого управления 9-й армии. Отступал с боями через южную Украину в Донбасс. Участвовал в оборонительных боях на реке Молочной, обороне Ростова-на-Дону, Ростовской и Барвенково-Лозовской наступательных операций. В феврале 1942 года А. А. Прохоров был переведён на должность заместителя политрука 3-го (с мая 1942 года — 9-го) отдельного батальона противотанковых ружей. Вместе со своими бронебойщиками Александр Александрович отражал атаки немецких танков на Северском Донце и в большой излучине Дона.