Biskop Kallers arbeid i nazitiden tegner et differensiert bilde. I startfasen av NS-staten kom Kaller gjentatte ganger i konflikt med regimet: han organiserte bispedømmevalfarter, blant annet til Dietrichswalde, som var den polske ermlandske minoritetens marianske pilegrimsmål. Maximilian Kallers forgjengere biskopene Andreas Thiel og Augustinus Bludau, hadde alltid unngått å delta i slike valfarter. I september 1934 holdt Kaller kirkeinnvielsesprekenen på tysk og etter messen på polsk. En preken på polsk i november 1934, som begynte med ordene «Elskede polske folk», utløste en klage på ham til Berlin fra den østprøyssiske Gauleiter, Erich Koch.