Après l'annexion du sud de la Prusse-Orientale par la République populaire de Pologne, soit une bonne partie du territoire diocésain, l'évêque Kaller renonça à exercer sa juridiction dans les territoires rattachés à la Pologne, n'y conservant que les fonctions d'évêque, et il fut expulsé par les autorités polonaises à la mi-. Le pape Pie XII le nomma . L’Église catholique de Pologne réclama alors le rattachement du diocèse. Le cardinal Hlond, pour éviter que le chapitre de Varmie élise un nouvel évêque, avait nommé Teodor Bensch comme administrateur apostolique provisoire. Le Saint-Siège, toutefois, n'entendait pas se soumettre aux nouveaux arbitrages territoriaux de Yalta, qu'il regardait comme provisoires : aussi le trône épiscopal de la cathédrale de Frombork demeura-t-il vacant à la mort de Kaller.