В течение русско-польской войны 1654—1667 годов замок неоднократно переходил из рук в руки. Сохранилось описание оршанского замка, сделанное в это время царским воеводой М. Полуэктовым: "«Каменного городу стен по мере 130 сажней с полусаженью… А вышыня стен городу 3 сажени. А инде и полчетверти, кроме зубцов. А зубцовые все обломались. А ширина в стене сажень. В стене камень дичь до зубцов. А розволялось каменной городовой стены 68 сажен с полусаженью. А ворот у каменного города и башен ни одной нет. А острогу поставлено стоячего по мере 96 сажен, а над землею вышына острогу полтары сажени. А башень не поставлено. Абламов нет… и подмостов и боев не делано ж. А недоделано острогу по мере 27 сажен»".