Вновь в действующей армии 50-й бомбардировочный авиационный полк с июня 1942 года. В составе 223-й бомбардировочной авиационной дивизии 2-й воздушной армии Брянского фронта Александр Николаевич участвовал в Воронежско-Ворошиловградской операции. В августе 2-я воздушная армия была переброшена на Воронежский фронт и участвовала в оборонительных боях на Сталинградском направлении. В октябре 1942 года в связи с упразднением института военных комиссаров подполковник А. Н. Костылев был назначен на должность заместителя командира полка по политической части, а 17 ноября 1942 года 50-й бомбардировочный полк был преобразован в 50-й отдельный разведывательный авиационный полк. В новом качестве Александр Николаевич участвовал в Среднедонской, Острогожско-Россошанской, Воронежско-Касторненской, Харьковской наступательной и Харьковской оборонительной операциях. При выполнении очередного разведывательного полёта перед началом Курской битвы 23 июня 1943 года самолёт подполковника А. Н. Костылева был атакован двумя истребителями Ме-109 и подбит. Александр Николаевич сумел посадить горящий самолёт на своей территории. Сильно обгоревший лётчик был эвакуирован в госпиталь.