指挥修建的藤田宅邸是明治末期关西地区最大的和风邸宅之一，宅内仅茶室就超过30座。但除东邸和本邸的大门、多数库房，以及从和歌山县高野山光台院移来的用铜板修葺的多宝塔之外，藤田宅邸的本邸、西邸、东邸等绝大部分都在第二次世界大战的空袭中被烧毁了。该馆库房为由京都大学的日比忠彦设计的日本最早的钢筋混凝土库房，旧有建筑翻修后被用作展览室使用，但毋庸置疑，相对藏品的品质和数量来说，展览室过于局促。由于展览室空间不足，该馆仅在春秋两季的特别展中选择部分藏品向公众展示。