18 августа главное командование отправило сообщение, информирующее об официальном назначении «Котвича» командующим Новогрудского партизанского округа и о присвоении ему звания подполковника. Это сообщение не дошло до адресата. 19 августа советские власти начали ликвидацию польских войск на окраине Рудницкой пущи. 21 августа подразделение Каленкевича, состоящее из 72 человек, находилось в Сурконтах, где около полудня на него напал батальон НКВД, насчитывающий около 600 человек. Советская атака была отбита подразделением капитана Болеслава Василевского «Бустромяк»; два советских командира и около 30 солдат были убиты; у поляков не было убитых, но было много раненых. Каленкевич решил оставаться на месте до заката, чтобы была возможна эвакуация раненых. Во второй половине дня произошла вторая атака, которая привела к разгрому отряда. Польские потери составили 36 убитых и раненых. Советские власти официально признались в потерях 18 убитых, но отчёт, отправленный в Варшаву преемником Каленкевича, капитаном Станиславом Сендзяком «Варта» докладывал о 132 убитых вражеских солдатах. Каленкевич также погиб. Он был похоронен в братской могиле со своими солдатами, недалеко от дороги, соединяющей деревню Пелеса с Сурконтами, рядом с могилой повстанцев 1863 года.