W 1410 zamek opanowali mieszczanie, którzy uznali władzę króla polskiego, w 1414 w czasie wojny głodowej miasto ucierpiało od wojsk polskich. W 1440 Olsztynek przystąpił do antykrzyżackiego Związku Pruskiego, na wniosek którego w 1454 król Kazimierz IV Jagiellończyk włączył region z miastem do Królestwa Polskiego. W 1455 miasto znalazło się w rękach krzyżackich, a po wojnie w 1466 na mocy traktatu toruńskiego Olsztynek został przyznany Krzyżakom, będąc zarazem pod zwierzchnictwem polskim jako lenno. Dopiero w czasie wojny polsko-krzyżackiej w 1520 Olsztynek został zdobyty przez wojska polskie, a hetman wielki koronny Mikołaj Firlej potwierdził przywileje miasta. Od 1525 w granicach zależnych od Polski Prus Książęcych, w 1530 istniał tu polski kościół, przy którym działali wybitni protestanci. Podczas wojny polsko-szwedzkiej w 1628 w mieście stacjonowały polskie oddziały walczące z armią Gustawa Adolfa. W 1656 miasto splądrowały wojska szwedzkie, a rok później spalili je Tatarzy.