Начало войны встретил в Киеве. 17-летний Алексей на тот момент уже окончил медицинское училище, посещал занятия в клубе Осовиахима, умел стрелять из нескольких видов оружия. По комсомольской путевке (так как он еще не подходил по возрасту для призыва, то приписал себе год) 10 июля 1941 был призван пулеметчиком до 220-го отдельного пулеметного батальона ПВО. Принимал участие в обороне Киева. Первый самолет противника сбил 25 августа 1941 года возле завода «Красный экскаватор», за что позже был награжден медалью «За боевые заслуги». С подходом немцев в Киев направлен на охрану переправ через Днепр. Когда враги захватили город, пулеметный взвод, в котором служил Левченко, вместе с группой окруженных с боями добрались до Москвы, где их передали в состав 5-го запасного полка. Оттуда Алексей Левченко попал в 924-го стрелкового полка 252-й стрелковой дивизии. Стал автоматчиком 332-го отдельного разведывательного батальона.