明神宗万历年间及清高宗干隆年间，五显财神庙曾两次重修。一说古时有伍姓兄弟三人，都是绿林响马豪杰，此外还有两人相助，五人结拜。他们死后，乡人在清朝干隆元年为他们立祠。他们是劫富济贫的好汉，故而有「灵应五兄弟」的美称。亦有他说，《铸鼎余闻》记载南齐有柴姓五兄弟，长者名唤柴显聪，次者显明，第三显正，第四柴显直，第五显德，弟兄五人为猎人，常以肉食馈赠贫苦，又在山区採葯致赠病患，死后被尊为五显财神。台湾教育部《国语辞典》记载，五显财神即是五路财神的别称。1950年代后期，五显财神庙庙会停办。后曾为六里