Очевидно, що тоді при суперечці за Берестя оборонна вежа вперше могла відіграти якусь військову функцію. Після 9-денної облоги замок з 5-ма вежами захопив Казимир ІІІ (1349), передавши його ВКЛ (1351). Замок 1379 захопили хрестоносці, а вже 1409 тут зустрілись Владислав Ягайло, Вітовт, хан Джалал Ад Дін розробляючи плани війни з хрестоносцями. На 1500 замок витримав облогу 15 тисяч татар хана Менґлі I Ґерая. У XVI ст. поновили завершення дерев'яних веж, стін замку, а наприкінці століття звели навколо міста, замку земляні бастіонні фортифікації, які здобули 1648 козаки. До 1655 фортифікації модернізували і їх не змогло здобути московське військо Урусова і Боратинського. Вже у травні 1657 гарнізон піддався шведам Карла Густава і семигородського князя Юрія Ракоці, отримавши право вільного виходу з міста. При відновленні фортифікацій московське військо Івана Хованського 13 січня 1660 захопило місто, яке за рік відбили поляки. Замок знову захопили шведи генерала Меєрфельдена в час ІІІ Північної війни (1706).