К началу XVI века оршанский замок был построен из камня только наполовину, что не помешало ему выдержать несколько осад. В 1500 году замок был занят войсками Московского княжества, в 1503 году возвращён в состав Великого княжества Литовского. Устоял во время осад 1507 и 1519 годов. В 1514 году недалеко от замка произошла известная битва, в которой московские войска потерпели поражение.