Bangunan sulung sekolah ini hanya dapat digunakan selama empat tahun sahaja kepada pada tahun 1941 Jepun telah menjajah Tanah Melayu. Semasa pendudukan Jepun, kampung dan sekolah ini telah dijadikan markas dan sekolah Jepun hingga tahun 1945. setelah Tentera Imperial Jepun menyerah kalah, pengganas komunis pula mengambil alih. Semasa komunis mengambil alih kuasa sementara, kebanyakan rumah-rumah orang kampung termasuk Sekolah Parit Kadir dibakar oleh komunis (1945).