Namun, sayangnya Pabrik Gula Kemanglen sudah tidak beroperasi lagi sejak kedatangan Jepang ditahun 1942. Bangunan utama pabrik telah dihancurkan dan mesin-mesin serta lokomotif uapnya sendiri dijarah, seluruh bangunan utama pabrik dibumihanghuskan oleh Jepang tanpa sisa, rumah-rumah pegawai pabrik kemudian dijadikan kamp tentara Jepang. Para pegawai dan karyawan pabrik gula yang kebanyakan berkebangsaan Belanda kemudian ditawan oleh Pasukan Nippon Jepang di kamp penahanan perang sampai Menyerahnya Jepang kepada sekutu ditahun 1945.