В 1471 году в Шелонской битве был взят в плен и в оковах отправлен в Коломну, но в том же году освобождён по ходатайству новгородского архиепископа Феофила. После окончательного покорения Новгорода Казимер встречал великого князя за городом, угощал его в своем доме, ходатайствовал перед ним за опальных бояр. В 1481 году, когда Иоанн Васильевич решился уничтожить даже воспоминания о новгородской вольности, Казимер был взят под стражу в числе других знатных новгородцев.