以新建「香客大楼」。地方文史工作者为保留建筑物，乃将之申请为历史建筑，台南县政府于2009年12月21日公告文贵医院为历史建筑。此举引起了庙方及地方人士的不满，要求地方文史工作者离开。最后庙方于2010年6月30日将文贵医院拆除。拆除后的部分墙面被移至麻豆区总爷艺文中心存放。
建筑特色.建筑分为前后二栋，前栋为医院，后栋为日式木造屋及庭院。前栋樑柱为桧木结构，建筑立面外观为仿巴洛克风格的二层洋楼，上方山墙有花纹装饰，中央位置有勋章图案和STO字样，二楼附有纯装饰用的优雅小阳台，两侧