Роль Друйського замку у Лівонській війні 1558—1583 рр. не з'ясована, хоча в 1561 р. тут дислокувався кавалерійський загін. «Лист» про перемир'я за 1594 рік між Великим князівством Литовським та Московською державою називає Друйський замок серед замків Подвіння. В історичних джерелах за 1594 рік є згадка про «опаловий замок Друйських», що вказує на стан укріплень того часу. Під час військових подій XVII—XVIII ст. замок зазнав численних облог і штурмів, неодноразово руйнувався та спалювався. Після війни між Росією та Річчю Посполитою в 1654-67 рр. він був відбудований на лівому березі Західної Двіни, але не виділявся за потужністю. У XVIII ст. поступово занепадав.