I det videre løp av 1937 var det arrestasjoner og domfellelser av bispedømmets presteskap og lekfolk. Alle katolske foreninger ble forbudt. I fastebrevet fra 1938 sier Kaller: [Vogelfrei] Den biskoppelige sekretær Gerhard Fittkau ble forhørt av Gestapo i Frauenburg og skrivemaskinen hans ble konfiskert på grunn av publikasjon og duplikasjon av hyrdebrev. Etter flere avhør av Gestapo i Königsberg ble han forvist fra Ermland i 1939 som «statsfiende».