衆人举办圣像巡游至此，四名壮丁无法扛动尊舆，故称「四丁观音大士」，留庄供奉。嘉庆十年（1805年）在今日本庙的山腰上建庙，不久后因参拜不易，改建于下方今址。同治三年（1864年）重修。台湾日治时期，明治卅六年（1903年）重修，此庙在庙中开设汉文私塾，教读《四书五经》、《老庄》、《史记》，以嘉惠学子。台湾战后时期，1952年重修。由于此庙宇有相当多昔年檀越寄付的庙产，被有心人士觊觎，据说1974年有一名信奉理教的首届国大代表，出身国民党特务，官拜少将，借国民党之势力，伪造转让証明书，侵佔本庙庙产