有個古仔話，從前有兩兄弟叫亞仁、亞威，有日佢哋撈到嚿怪石，抬返屋企供奉，從此生活得心應手，呢件事傳遍鄉裏，十里之內都有人拜，於是啲人起咗座廟，鄉人據兄弟嘅名起做「仁威廟」。