与灵官皆窃五帝之号，是淫祀也。」早期研究多认为台南西来庵是泉漳士绅为参拜方便自台南白龙庵（或说福州白龙庵）分灵，不过近年台南西来庵认福州闽侯县南屿镇南旗村西来庵为祖庙。台湾日治时期，因余清芳等人以五福王爷的名号扶乩聚众、起事抗日（西来庵事件），总督府查禁台南西来庵神祇，信众遂改称主神为五显大帝。台湾话俗谚曰：「余清芳，害死王爷公。王爷公无保庇，害死苏阿志。苏阿志无仁义，害死郑阿利」就是讲述此事。民间之所以言「王爷公无保庇」者，有说苏有志藏身于王爷神案底下，却遭揪出；另说则是苏有志命郑利，将起义的银钱