У сярэдзіне XVII ст. замак ужо быў ўмацаваннем з 5 бастыёнаў, захавалася яго замалёўка кн. Багуславам Радзівілам. Моцна пацярпеў у вайну Расіі з Рэччу Паспалітай 1654—1667 гадоў. У 1654 годзе да замка накіравалі маскоўскага ваяводу Ю. Барацінскага з 700 салдатамі і драгунамі, яго задачай было заняць горад з замкам і разбіць атрад шляхціца К. Паклонскага, які ўцёк з Магілёва пасля здрады цару. У выніку атрад Паклонскага пацярпеў паражэнне і вымушаны быў адступіць да Менска. Узяць замак маскоўскі ваявода не здолеў, гарнізон адбіў неаднаразовыя штурмы і нанёс маскоўцам значны ўрон. Тады на Барысаў была накіравана група войскаў акольнічага ваяводы Б. М. Хітраво. Пасля працяглага бою 19 чэрвеня 1655 года замак быў узяты і спалены. Рэшта гарнізона адступіла на правы бераг Бярэзіны і спаліла за сабой мост.