因残破倒塌，土地公神像移到此祠合祀。大正年间，江贤文建小祠，但在皇民化时被废，尸骨被迁葬嘉义市弥陀寺旁的山丘上。与五百三公祠的受祀者都合葬于弥陀寺东侧的义民塔。1947年，在东门圆环边的东北角复建小祠，并改称为「忠义祠」。2006年6月，此庙配合嘉义市政府拓宽公明路而拆除，原址四十坪剩三坪多。拆除时，庙地出土一块长八十五公分、宽三十四公分，重达五公斤，泛黄的玉碑。庙方因庙宇缩小，一度考虑要迁庙，但掷筊请示神谕，结果是留在原地。经前后主委蔡庆昌、蔡宗良父子，以及地方人士与信众捐献，并贷款共新台币二千余万元