佛，宗庙之祭，不牲宰，昼日一食，止于菜果，其后竟为侯景所兵逼，饿死台城，国亦寻灭。事佛求福，乃更得祸。由此观之，佛不足信，亦可知矣。”他主张“人其人，火其书，庐其居”，将佛骨“投诸水火，永绝根本，断天下之疑，绝后代之惑”。宪宗闻之大怒，将处以极刑，裴度、崔群力救道：「愈言讦牾，罪之诚宜。然非内怀至忠，安能及此。愿少宽假，以求谏争。」帝曰：“愈言我奉佛太过，犹可容；至谓东汉奉佛以后，天子咸夭促，言何乖剌邪？愈，人臣，狂妄敢尔，固不可赦。”于是贬其为潮州刺史（今广东潮州）。