Fra 1349 var Brest en del af Storfyrstendømmet Litauen og i 1390 blev Brest den første by, der fik Magdeburgrettigheder i det nuværende Hviderusland. Dele af byen blev brændt af den Tyske Orden i 1379 og i 1409 var byen mødested for kong Władysław II Jagello, storfyrste Vitautas og tatarernes leder Dzala-ed-din på ærkebiskop Mikołaj Trąbas initiativ for at forberede krigen mod den Tyske orden. I 1410 mønstrede byen et kavalerikompagni, der deltog i på den sejrende polsk-litauiske unions side i slaget ved Grunwald. I 1419 blev Brest sæde for det nyoprettede Trakai voivodskab. I 1500 blev hele byen brændt ned under Krim-tatarernes angreb. I 1566, på kong Sigismund II Augustus dekret, blev Brest Litovsk voivodskab skabt. Efter oprettelsen af Lublinunionen i 1569 blev Brest en del af den polsk-litauiske realunion og omdøbt Brześć Litewsk.