Замок пережил много осад и штурмов. В 1648 году отряд украинских казаков во главе с Ф. Гаркушей не смог его взять. В начале войны России с Речью Посполитой 1654—1657 гг. Быхов выстоял во время 11-месячной осады украинских казаков во главе с И. Н. Золотаренко и 11 полков московского войска воеводы А. Н. Трубецкого. Но в начале 1657 г. после 18-месячной осады московские войска совместно с украинскими казаками захватили Быхов. Во 2-й половине 1658 г. Иван Нечай перешёл на сторону короля Речи Посполитой. Карательная армия московских воевод Змиева и Лобанова-Ростовского 14 мая 1659 г. подошла к городу и начала осаду, которая продолжалась до 4 декабря и завершилась ночным штурмом Быхова. Воины, захватившие замок, в 1660 г. сами оказались в осаде, и в декабре 1661 г. сдались 7-тысячному войску Речи Посполитой во главе с гетманом Чарнецким.