神是都天威勐大元帅曹显聪、横天都部大元帅刘显明、丹天降魔大元帅李显德、飞天风火大元帅葛显真、通天金目大元帅张显正。因他们五位是明朝人，生前富有钱财，又仗义疏财、扶弱抑强、乐善好施，死后被明英宗于天顺二年（1458年）敕封为“五显元帅”，并建庙奉祀。明神宗万历年间及清高宗干隆年间，五显财神庙曾两次重修。一说古时有伍姓兄弟三人，都是绿林响马豪杰，此外还有两人相助，五人结拜。他们死后，乡人在清朝干隆元年为他们立祠。他们是劫富济贫的好汉，故而有「灵应五兄弟」的美称。亦有他说，《铸鼎余闻》记载南齐有柴姓五兄弟