庙方耆老暨庙史撰写者郭昶亨叙述干隆五十年（1785年），地方乡仕出资石板，构筑石头小庙于田间，成为塔悠庄民集会场所。庄芳荣则认为此福德爷宫及金玉禅寺都是在1912年兴建。
下塔悠金玉禅寺.以艋舺龙山寺为贸易营商集会场所的顶郊三邑人，在咸丰年间为感谢顶下郊拚中塔悠庄及林口庄帮助打败下郊的同安人，遂将庙内两尊观音像分别赠给此两庄面。至于塔悠庄的观音神像，原先并无寺庙安置，遂供奉在许姓人家的三合院。1973年中山高速公路的兴建，三合院被征收拆除，