此宝地要建庙时，有一在此成仙的牧童与之争地，经大岗山观音菩萨调停，才替牧童在上帝庙后方的「牛奶堀（窟）」盖童子军庙供奉。
发展.武当山上帝庙所在的地方在明郑时期是崇德里角带围，随着人口渐多，雍正二年（1724年）左右崇德里分成崇德东里与崇德西里。角带围一地有13个聚落，分别是大潭、过潭仔、富爷（府衙）、林仔边、沟仔尾、公馆仔、林墘、大苓、窝仔底、榕仔脚、刣猪厝（上帝庙所在地）、围仔内、埤仔口，上帝庙即是这13庄共同祭祀的大庙。但是到了现代，这些聚落大多败庄消失，现在只剩大潭、刣猪厝