后，德川幕府规定托钵之际，需穿蓝色或灰色的无纹衣服、腰袋内配备乐器尺八、头戴称作「天盖」的深编笠。幕府也给予自由行旅的特权，所以，江户时代中期以降，游荡无赖之徒假冒虚无僧横行于世。遂制定法律规范。1871年（明治4年），明治政府发布太政官布告，废止普化宗，虚无僧丧失僧侣的资格，编入民籍。虚无僧寺的下总一月寺、武藏铃法寺、京都明暗寺等也全部废寺。1888年（明治21年），在京都东福寺塔头之一的善慧院设立明暗协会，恢复虚无僧行脚。1950年（昭和25年），明暗寺复兴。