První zmínka o Belém je z 13. století, kdy patřil do Smolenského knížectví. Od konce 14. století byl součástí Litevského velkoknížectví. Od roku 1503 byl součástí Moskevského velkoknížectví. Po rusko-polské válce v letech 1605–1618 připadl Deulinským příměřím k Polsku. Ruské carství jej dobylo zpět začátkem rusko-polské války v letech 1654–1667.