Після битви під Берестечком полонська фортеця стояла пусткою. В серпні 1651 року польське військо, яке рухалось на Любартів, навіть не заходило в Полонне. Польський шляхтич А.Мясковський писав, що тут "«ні людей, ні сіл, ні хатинки ніде не видно. Всюди страшне безлюддя і спустошення»." Більшість населення назавжди переселилась на Лівобережжя. В 1653 році татари, а згодом і українські війська під командуванням Дем'яна Лісовця розбивають польські підрозділи під Полонним, але фортеці не займають. Про те, що в фортеці не було польських військ, свідчать сеймові інструкції 1655 року, в яких шляхта вимагає у короля розмістити в Полонному війська. Лише в першій половині 1657 року гетьман Богдан Хмельницький наказав українським полкам зайняти територію Погориння. Козацькі полки визволили Полонне, Острог, Гощу, Корець і залишили в цих містах потужні залоги. В Полонному розмістилася Полонська сотня відновленого Волинського полку. Незважаючи на майже безперервні військові дії, стан фортеці був досить непоганим. Це видно з того, що тут певний час перебував каштелян волинський Станіслав Беневський. З 1658 і по 1661 рік в Полонному перебував гетьман Іван Виговський з сильним козацьким гарнізоном. 1661 року шляхта знову просить в сейму все-таки надіслати польський гарнізон в полонську фортецю.