年（567年）以「黄老之微言」，上书北周武帝，抨击佛教僧侣之奢华与违法，斥佛法皆空言，受到武帝宠信，赐为公爵，封蜀郡公，持节。武帝尊礼，不敢臣之。又与道士张宾合伙煽动反佛，导致后来的北周武帝灭佛。可是好景不长，北周武帝灭佛时，一併打击道教，也命卫元嵩还俗，卫元嵩始料未及。