Pada 1942, semasa pendudukan Jepang di Malaya, Tentara Kekaisaran Jepang yang dipimpin oleh Jenderal Yamashita Tomoyuki menempatkan pasukan mereka di gedung ini dan Istana Bukit Serene untuk merencanakan invasi ke Singapura. Jepang menggunakan gedung sebagai benteng dan pusat komando untuk memata-matai kegiatan Britania di Singapura. Gedung ini sebagian rusak semasa invasi Jepang dan bekas kerusakannya masih bisa dilihat sampai sekarang.