В ряды Рабоче-крестьянской Красной Армии А. В. Ольшевский призван Краснотуранским райвоенкоматом в 1940 году. В армии Александр Васильевич освоил специальность механика-водителя танка. С началом Великой Отечественной войны часть, в которой служил Александр Ольшевский, была переброшена под Москву. В боях с немецко-фашистскими захватчиками старшина А. В. Ольшевский с 4 ноября 1941 года. Боевое крещение получил в Битве за Москву на Западном фронте. 18 ноября 1941 года танк Ольшевского был подбит в районе разъезда Дубосеково. Раненого и обожжённого танкиста эвакуировали в госпиталь. После выздоровления Александр Васильевич был направлен в Саратовское танковое училище. С апреля 1942 года младший лейтенант А. В. Ольшевский на Калининском фронте. В ходе Первой Ржевско-Сычёвской операции 19 августа 1942 года Александр Васильевич был тяжело контужен. Долго лечился в госпитале. Вновь на фронте с 14 января 1945 года. Младшего лейтенанта А. В. Ольшевского назначили командиром самоходной артиллерийской установки 1455-го самоходного артиллерийского полка 9-го танкового корпуса 2-й гвардейской танковой армии 1-го Белорусского фронта. В его составе Александр Васильевич участвовал в Висло-Одерской, Восточно-Померанской и Берлинской операции, освобождении городов Радом, Лодзь, Калиш, Познань, Кутно, Томашув, Гостынин, Ленчица, штурме немецких городов Цюллихау, Альтдамм, Берлин.