Західне та східне крила були обстріляні під час вторгнення Японії у Другій світовій війні; він також зазнав пошкодження бомбою. Японці відремонтували його, і комендант взяв будівлю як свою резиденцію під час окупації .