1943年(昭和18年)に東京府が錬成道場として利用するために敷地と邸宅を買収し「葵館」と名付けられ、その後木造建築物は除去、鉄筋コンクリートの洋館2棟は移築された後1956年(昭和31年)に東京体育館が建設されて現在に至っている。