W 1561 roku podczas wojny litewsko-rosyjskiej Dyjament wraz z całymi Inflantami wszedł w skład Rzeczypospolitej. W 1582 roku jego fortyfikacje zostały rozbudowane przez Stefana Batorego, a pracami kierował włoski inżynier Simone Genga z Urbino. Podczas wojny polsko-szwedzkiej 1600-1611 twierdza w lipcu 1608 roku poddała się po oblężeniu szwedzkim wojskom hrabiego Fryderyka Joachima Mansfelda. W 1609 roku twierdza, broniona przez 250 szwedzkich żołnierzy, odzyskana została przez hetmana wielkiego litewskiego Jana Karola Chodkiewicza. Próba zdobycia twierdzy przez Szwedów w 1617 roku zakończyła się niepowodzeniem. Jednak w roku 1622 Gustaw Adolf zdobył Dyjament, a następnie rozkazał jego przebudowę. Nową twierdzę w stylu holenderskim zaprojektował w 1641 roku generał Rothenburg. Od 1680 roku Szwedzi nazywali twierdzę Neumünde.