Родился в 1776 году. Происходил из дворян Черниговской губернии. На службе с 28 июля 1799 года кавалергардом в Кавалергардском корпусе. 21 ноября того же года переведён в Тенгинский пехотный полк прапорщиком, в 1801 году произведен в подпоручики, в 1803 году в поручики. В 1809 году поручик Костырко участвовал в 3-й кампании против шведов (когда, с благословения Наполеона I, была оккупирована Финляндия) на гребной флотилии в Кронштадтском рейде. В 1810 году Костырко произведен в штабс-капитаны. В 1811 году стал майором Тульского пехотного полка, с которым прошёл войну 1812 года и кампании 1813—1814 годов, став позднее его шефом. В 1812 году Костырко отличился при Сиотине; при Свольне 5 (17) августа под Полоцком был сильно контужен в левую ногу. Участвовал во 2-м сражении под Полоцком (6-8 (18—20) октября), где был ранен и за отличие в сражении произведён в подполковники. За участие в сражениях под Чашниками (19 (31) октября и 30 октября (11 ноября)) и под Смолянами (1-2 (13-14) ноября) получил орден св. Анны 2 степени.