堂有「富贵寿考」四字匾，其下有桃花贴金屏风，全屋共有16间房、6个厅堂和两个内院。
近年发展.1980年代初博爱医院计划进行扩建工程，以应付元朗新市镇的医疗需求。工程曾计划拆卸潘屋，但最终得以保留。1990年代，中共全国政协常委徐展堂家族购入潘屋及相连土地，曾于1996年计划发展私人住宅，但最后搁置。到了2010年，徐展堂家族向城市规划委员会申请于潘屋旁空地兴建五层高的私人骨灰龛场，引起附近居民反对。