Na mocy pokoju toruńskiego miasto wraz z całą Warmią włączone zostało do Królestwa Polskiego. W czasie ostatniej wojny polsko-krzyżackiej w 1521 zamek został obroniony przed Krzyżakami. W 1538 Wartembork odwiedził Mikołaj Kopernik, który jako przedstawiciel kapituły towarzyszył biskupowi Janowi Dantyszkowi w czasie objazdu diecezji warmińskiej, gdy ten odbierał hołd od poddanych. W 1544 znaczną część zabudowy zniszczył pożar, kolejne miały miejsce w 1594 i 1596. Wskutek I rozbioru Polski w 1772 miasto wcielone zostało do Prus, i wraz z nimi weszło w 1871 w skład zjednoczonych Niemiec, rok później miasto uzyskało połączenie kolejowe. W 1877 urodził się w mieście Feliks Nowowiejski. W 1885 w Barczewie powstała trzecia na terenie Warmii polska księgarnia należąca do Adama Napieralskiego.