进行耐震诊断时因存在耐震性问题而被关闭，并在2012年拆除。取而代之的是新建的钢筋结构两层建筑管理栋。美术馆事务所在改建工程前位于本馆一层，改建后搬迁至管理栋二层，使得本馆的展示空间得以扩大。在1983年9月之前曾经在新馆办公，但在2009年搬迁至江户东京博物馆。
庭园.庭园由草坪广场、日本庭园、西洋庭园三个部分构成。游客可不参观本馆，仅游览庭园。日本庭园保留了朝香宫邸时期的景观，并设有茶室「光华」。西洋庭园所在地曾是宫内省的官舍。