富有钱财，又仗义疏财、扶弱抑强、乐善好施，死后被明英宗于天顺二年（1458年）敕封为“五显元帅”，并建庙奉祀。明神宗万历年间及清高宗干隆年间，五显财神庙曾两次重修。一说古时有伍姓兄弟三人，都是绿林响马豪杰，此外还有两人相助，五人结拜。他们死后，乡人在清朝干隆元年为他们立祠。他们是劫富济贫的好汉，故而有「灵应五兄弟」的美称。亦有他说，《铸鼎余闻》记载南齐有柴姓五兄弟，长者名唤柴显聪，次者显明，第三显正，第四柴显直，第五显德，弟兄五人为猎人，常以肉食馈赠贫苦，又在山区採葯致赠病患，死后被尊为五显财神。