Belyj er det russiske ordet for «hvit», men det er ukjent hvorfor denne betegnelsen kom til å bli brukt på denne byen. Den er første gang nevnt i 1359 som et fort i fyrstedømmet Smolensk, og som havnet under Litauen ved slutten av århundret. På 1400-tallet ble den et sete for Belskij-grenen av det herskende Gediminide-dynastiet. Byen ble erobret av Storfyrstedømmet Moskva i 1503. Tre år senere bygget de en formidabel borg, som litauerne beleiret i 1508. Byen havnet igjen under Polen-Litauen mellom 1618 og 1654.