קוסטנקו נולד ב-22 באוקטובר 1896 בכפר בולשאיה מרטינובקה שבאימפריה הרוסית למשפחת איכרים אוקראינית. ב-1915 התגייס לצבא האימפריה הרוסית ובמלחמת העולם הראשונה לחם בחזית המזרחית כמש"ק בכיר. ב-1918 התגייס לצבא האדום ובמלחמת האזרחים ברוסיה לחם עם ארמיית הפרשים הראשונה. באפריל 1931 הוא מונה לסגן מפקד רגימנט הפרשים ה-23, וביולי 1936 מונה למפקד רגימנט הפרשים ה-19. שנה לאחר מכן הוא הועבר לפקד על דיוויזיית הפרשים השביעית. מאוחר יותר מונה למפקד דיוויזיית הפרשים המיוחדת ולאחר מכן למפקד דיוויזיית הפרשים ה-36. באפריל 1939 מונה למפקד קורפוס הפרשים השני, ולחם עמו במהלך פלישת ברית המועצות לפולין כחלק מהארמייה השישית של פיליפ גוליקוב. במהלך המערכה כלל הקורפוס שלו שלוש דיוויזיות פרשים ובריגדת טנקים אחת. ב-4 ביוני 1940 הוא הועלה לדרגת גנרל לייטננט, וב-26 ביולי של אותה שנה מונה למפקד הארמייה ה-26.