神意希望合葬于此，据说此地在风水上称为「雄牛困地穴」。庙方的创建沿革也引用新竹六家林姓所藏的古书，记载了牛车运载骸骨、蚁群衔土筑坟的传说，但学界认为不可信。另外，相传人们为留在其余地方的义民骨骸建立了苗栗市义民庙、湖口万善祠。因干隆年间械斗死伤而建的员林地藏庵，其由来也有这种牛车停驻的说法。干隆五十三年（1788年）冬于墓冢前方奠基破土，至五十五年（1790年）冬，正厅落成，称为「褒忠亭」 。干隆五十六年（1791年）二月初二，担任庙祝的王尚武任因年老无嗣、无亲属，遂邀请王廷昌、黄宗旺、林先坤、吴立贵此