位修行者路过北宜公路，想为当初开路殉职的人建庙，因此以三年时间建立祠。1974年建立北宜公路殉职先灵纪念碑与祠，由台湾省议员陈根涂协助道德幸福杂志社兴建。纪念碑设有一座小神龛，因系追悼祭祀孤魂野鬼，遂成为大家乐及六合彩迷入夜祈求明牌的据点。当时行政院农业委员会林务局、经济部水利署却声明为保护翡翠水库上游水源，只准立碑，不得建庙。
动工扩建.北宜公路因车祸率太高，除了有「死亡公路」之称外，许多在该路车祸死亡的罹难者家属常在路边撒冥纸，供奉亡魂，久而久之北宜公路的过路客也学起撒冥纸的习惯