В 1581 году город был полностью разрушен во время Ливонской войны войсками польского короля Стефана Батория и после уже не восстанавливался. С XVII века земли Воронича и окружавших его монастырей и церквей перешли в царскую вотчину.