Während des 2. schwedisch-polnischen Krieges (1655–1660) gewährte der schwedische König Karl Gustav dem Ermland kurzfristig die völlige Selbständigkeit von Polen als weltliches Fürstbistum, doch gelang es Polen mit dem Frieden von Wehlau (1657), die Oberherrschaft über das Ermland zurückzugewinnen. Den völligen Verlust seiner Souveränität erlitt das Land Ermland 1772 mit der 1. polnischen Teilung, in deren Gefolge es an das Königreich Preußen fiel. Der Protest des letzten Fürstbischofs Ignatius Krasicki beim Papst blieb erfolglos. Das Bistum Ermland blieb weiterhin exempt.