З травня 1574 року Брагін став основною резиденцією князів Вишневецьких. У місті існував комплекс дерев'яно-земляних укріплень з замком. У 1601–1603 роках Вишневецький приймав тут Лжедмітрія І. В 1648 році, під час повстання 1648–1651 років мешканці Брагіна відчинили замкову браму перед загоном війська Хмельницького, яким керували полковники Нябаба і Хвасько. Брагінці і селяни навколишніх сіл створили полк під керівництвом козацького голови Магери. Місто і замок розбила каральна експедиція військ Речі Посполитої. З того часу замок більше не відновлявся і перетворився у господарчий двір Вишневецьких, місто занепало.