Czerwony Brzeg i inne okoliczne wsie bardzo ucierpiały, prawie zostały zmiecione z powierzchni ziemi w czasie zażartych bitew wojny polsko-rosyjskiej w latach 1654–1667. Pierwszego września 1812 roku w czasie napoleońskiej inwazji na Rosję okoliczne wioski, w tym leżący kilkanaście kilometrów od Krasnego Brzegu Kazimierów, były świadkami zaciekłej bitwy między polską brygadą a siłami rosyjskimi. Polskie oddziały zmusiły siły rosyjskie do odwrotu. W 1845 roku we wsi (poza dworem) mieszkało jedynie 18 mieszkańców. W czasie rewolucji w 1905 roku lokalna ludność próbowała zająć pałac właścicieli, jednak została rozpędzona przez wezwanych kozaków. Po rewolucji październikowej majątek został znacjonalizowany. Po ustaleniu przebiegu granicy polsko-radzieckiej w 1921 roku wieś znalazła się na terytorium ZSRR. W 1930 roku we wsi powstał sowchoz „Czerwony Brzeg” i kołchoz „Czerwony Komunar”. Od 1937 roku wieś jest siedzibą sielsowietu. W czasie II wojny światowej znajdował się tu obóz przejściowy dla dzieci w wieku 8–14 lat. Przebywało tu (i było deportowanych do Niemiec) 1990 dzieci, które miały być dawcami krwi dla rannych żołnierzy niemieckich.