道光二十九年（1849年），时华林寺住持祗园大师始建，期间祗园住持亲至杭州净慈寺，将五百罗汉像带回按样塑造，咸丰元年（1851年）落成。整个殿堂呈“田”字型，水磨青砖墙，花岗岩石脚，长44米，宽31米，内有四个取光天井。堂殿门向南，由殿门至北端供奉释迦牟尼、阿弥陀和弥勒三佛，为南北中轴线，东西两侧是回廊，分列五百罗汉像，当中一名被尊为“善德尊者”的罗汉取形于意大利旅行家马可·波罗。罗汉堂中央还有一座阿育王塔，为青铜铸造，高4米，重750公斤，中部四面各有一天王托塔像，每层均有不同图案的花纹。但文化大革命