Bygningen er fra 1933, og var klubbhus for hesteveddeløpsbanen i Shanghai. Etter japanernes okkupasjon av byen 1937 ble det overtatt som kontorer for militærstyret. Fra 1940-årene bygde kommunistene et omfattende nettverk av tunneler i området. Tunnelene under kunstmuseet er fremdeles intakte. De knytter blant annet an til Marriott hotel på den andre siden av Nanjing Lu-gaten.