Pada tahun 1942, semasa Pendudukan Jepun di Tanah Melayu, Tentera Imperial Jepun diketuai oleh Jeneral Yamashita Tomoyuki ditempatkan di bangunan sendiri dan Istana Bukit Serene merancang untuk melakukan serangan ke atas Singapura. Jepun menggunakan bangunan sebagai benteng dan pusat arahan untuk mengintip aktiviti British di Singapura. Bangunan ini telah rosak sebahagiannya semasa pencerobohan Jepun dan bahagian yang rosak masih boleh dilihat sehingga ke hari ini.