Мирную жизнь замка оборвала Русско-польская война (1654—1667). В 1655 году Мирский замок был впервые опустошён казаками И. Золотаренко и войсками воеводы А. Трубецкого. В том же году Богуслав Радзивилл привёл к Миру шведский отряд, чтобы захватить владельца города Михаила Казимира Радзивилла, не присоединившегося к прошведской коалиции. Шведы взяли штурмом замок и город, сожгли фольварк, сломали мельницы, спустили пруды, разрушили замок.