序》首次提及扬雄受严君平启发，求问于各地孝廉与卫卒，最终历时二十七年方成本书。其间刘歆编《七略》，求观《方言》，被扬雄回绝：“未定，未可以见”。东汉应劭《风俗通义·序》有“周秦常以岁八月遣輶轩之使，求异代方言，还奏籍之，藏于秘室”，这解释了书名的含义，即秦朝以前，每年八月，政府派遣“輶轩使者”（乘坐轻车的使者）到各地搜集方言，并记录整理。这些材料由于战乱而散失。《方言》很有可能是集体创作，扬雄的老师严君平曾经收集了1000多字，林闾翁孺保存有目录提纲一类的资料（梗概之法）。扬雄的亲戚也有了解。洪迈即认为《方