Роль Друйского замка в Ливонской войне 1558—1583 не выяснена, хотя здесь в 1561 году и располагался конный отряд. Перемирны «лист» 1594 года между ВКЛ и Русским государством, называет Друйский замок уже среди замков Подвинья. В исторических источниках за 1594 год встречается упоминание о «опалом замку Друйском», что свидетельствует о состоянии укреплений того времени. В ходе военных событий XVII—XVIII в. замок претерпел многочисленные осады и штурмы, неоднократно разрушался и сжигался. После русско-польской войны 1654-67 был восстановлен на левом берегу Западной Двины, но мощью не выделялся. В XVIII веке постепенно пришел в упадок.