清文宗咸丰三年（1853年）发生顶下郊拚事件，台北情势严峻，三姓于是决议分家避祸，取出尪公圣像、夫人妈圣像、香炉三件圣物拈阄（抽签），人数最多的高姓人士抽得尪公圣像（今日景美集应庙），林姓人士抽得夫人妈圣像（今日万隆集应庙），张姓人士抽得香炉（今日木栅集应庙），三姓人士各自去补齐其余缺乏两圣物继续奉祀。咸丰十年（1860年）高姓人士在景美竹围（今景美国小南侧近景美溪的操场)建庙，但因经常淹水、风水欠佳于清穆宗同治六年（1867年）迁于现址，在正殿高悬当年庙宇落成时高姓族人所赠「大平世泽」匾额见证此历史