宪、王充、扬雄等人都是反对方士的人。东周时已有方士之称，宋无忌、正伯侨、充尚都是当时的方士，《史记·秦始皇本纪》载：“吾悉召文学、方术士甚众”。唐朝道士成玄英说「方」即「道」，但与道教无涉，《汉书‧王莽传》：“先是卫将军王涉，素养道士西门君惠。”《新唐书.李德裕传》：“帝方惑佛老，祷福祈年，浮屠方士，出入禁中。”晋代以后，方士之称渐不流行，大都改称道士。