Мсціслаўскі замак лічыўся важнейшым стратэгічным замкам Пасожжа на мяжы ВКЛ і Маскоўскай дзяржавы, таму перажыў шмат аблог і войнаў. У 1389 на працягу 11 дзён яго асаджала войска смаленскага князя Святаслава Іванавіча. У перыяд міжусобнай вайны 1432—1439 гадоў паміж вялікім князем літоўскім Свідрыгайлам і Жыгімонтам Кейстутавічам Мсціслаўскі замак адзіны на Беларусі, які не паддаўся войску апошняга і вытрымаў трохтыднёвую аблогу. У 1500, 1502, 1508 (двойчы) і 1514 быў абложаны маскоўскімі войскамі. Пасля надання г. Мсціславу ў 1634 магдэбургскага права замак яшчэ больш умацавалі.