三十八年史学家吴宗慈主编的《江西通志考》的〈江西輋族考〉中说：「夫輋即苗即徭也。」，又说：「畬徭当以广东东部为最多，其先世民族实为山越。」宋代时居于香港大屿山一带的輋民盐户曾在南宋庆元三年（1197年）的一次暴乱中袭击广州地区，当时被称为大奚山傜乱。明正德十二年丁丑（1517年）巡抚南赣都御史王守仁曾重兵击剿，此畬徭之患得以解除。倖存的輋民紧缩于深山，陆续往闽、粤山区迁徙，赣（江西）境内的輋民几乎消声匿迹。王守仁的《王文成公全书》〈请立崇义县治疏〉说：「其初畬贼原系广东流来，先年奉巡抚都御史金泽行令安插