В 1939—1940 годах Алексей Костенко служил в 25-м истребительном авиационном полку Ленинградского военного округа в должности командира эскадрильи. В составе участвовал в походе войск Красной Армии в Западную Украину, где совершил два боевых вылета. В составе этого же истребительного полка, а также участвовал в войне с Финляндией — совершил 38 боевых вылетов, сбил лично 2 финских самолёта.