Etter Hitlers såkalte var Josef Wirmer motstander av nazistene både ut fra sitt demokratisyn og fordi han var bekymret for den konstitusjonelle stats fremtid. På grunn av sitt sterke engasjement for dem som led under raseforfølgelser ble han ekskludert fra den nasjonalsosialistisk ledede juristforening (). Han likte ikke inngåelsen av med Den Hellige Stol.