В 1503 году после победы Ивана III над литовцами в битве на Ведроше вошёл в состав единого Русского государства. Будучи пограничной крепостью на юго-западной окраине Русского государства, Стародуб не раз подвергался нападениям польско-литовских сил, как, например, в 1515, 1534 и 1535 годах. Летом 1535 года во время Стародубской войны польско-литовское войско под командованием гетманов Радзивилла и Тарновского, захватив, разорило город и сожгло крепостные стены, при этом погибли 13 тысяч жителей. Но в том же году город со всеми укреплениями был заново отстроен. Укрепления состояли из валов, рвов и деревянных рубленых стен с проездными башнями. В 1563 году впервые упоминается о существовании в Стародубе двух крепостей, большая из которых находилась на левом берегу речки Бабинец, а другая, меньшая («часть форштата») в Заречье. По сохранившимся планам того времени видно, что объёмно-планировочная структура города была почти такая же, как и сейчас, и напоминала радиально-кольцевую.