כשפלשה יפן לסינגפור ב-1942, פגעה הפגזה מכוונת של יפן במתחם. המושל, סר שנטון תומאס ורעייתו נשארו במבנה עד הרגעים האחרונים, אז פונו ממנו. כשפונו מהמבנה לקחו עמם את דגל בריטניה שהונף בחזית המבנה ושמרו עליו מכל משמר בזמן הכיבוש היפני. בזמן המלחמה המבנה אוכלס על ידי הפילדמרשל היפני היסאיצ'י טראוצ'י, מפקד כוחות הדרום של יפן.