Untuk menarik simpati warga hingga ke pedesaan, organisasi-organisasi Islam (utamanya NU) diberi kesempatan untuk lebih aktif terlibat dalam pemerintahan di bawah pendudukan militer Jepang. Zainul Arifin ditugaskan untuk membentuk model kepengurusan "tonarigumi", cikal bakal Rukun Tetangga, di kawasan Jatinegara yang kemudian dibentuk hingga pelosok-pelosok desa di Pulau Jawa. Ketika Perang Asia Pasifik semakin memanas, Jepang mengizinkan dibentuknya laskar-laskar semi militer rakyat. Pemuda-pemuda Islam direkrut lewat jalur "tonarigumi" membentuk Hizbullah (Tentara Allah). Arifin dipercaya sebagai Panglima Hizbullah dengan tugas utama mengkoordinasi pelatihan-pelatihan semi militer di Cibarusah, Bekasi, dekat Bogor. Dalam puncak kesibukan latihan perang guna mengantisipasi terjadinya Perang Asia Pasifik, Kemerdekaan Indonesia diproklamasikan Sukarno-Hatta pada 17 Agustus 1945 di Jakarta.