Во время Заграничного похода русской армии участвовал в осаде Данцига и Пиллау, в и в большом сражении под Лейпцигом (за заслуги в котором Костырке объявлено «Высочайшее благоволение»). В конце 1813 участвовал в освобождении Нидерландов и в осаде знаменитой с XVI века Бреды; за отличие, проявленное при этих сражениях, получил чин полковника. В 1814 году участвовал в осаде крепости Юлих, в сражении при Краоне (за отличие в этом бою награждён орденом св. Анны 2-й степени с алмазами), во взятии Парижа.