โคเชวอยเกิดในครอบครัวคอสแซคที่ยูเครน เขาได้เข้าร่วมกับ กองทัพแดง ในปี 1920 เขาได้ร่วมต่อสู้ในสงครามกลางเมืองรัสเซีย และ บัญชาการกองทัพน้อยในช่วง สงครามโลกครั้งที่สอง โดยส่งไปป้องกันที่สตาลินกราด, การปลดปล่อยไครเมีย และบุกครองปรัสเซียตะวันออก โคเชวอยได้รับเครื่องอิสริยาภรณ์วีรชนแห่งสหภาพโซเวียต 2 ครั้ง ในปี 1944 สำหรับการบุกครอง Sapun-gora (ทางไปสู่ เซวัสโตปอล) และในปี 1945 สำหรับการบุกครองนครเคอนิชส์แบร์ค