Etter utbruddet av andre verdenskrig i september 1939 skrev Kowalski et brev til Adolf Hitler der han kritiserte den tyske annektering av den polske kystlinje, og oppfordret den tyske kansler til å vurdere å bli mariavitt. Følgen av dette var at okkupasjonsmakten ble oppmerksom på denne lille religiøse grupperingen som kunne tenkes å gi opphav til problemer i Generalguvernementet. Han ble arrestert av nasjonalsosialistene den 25. januar 1940 og fengslet i Płock. Noen utsikter til løslatelse gikk tapt ved det at han gav uttrykk for sterke politiske oppfatninger under avhør. Tyskerne kom til at han var en farlig nasjonalist.