002年户籍资料显示：全县共有姓氏341个，其中1万人以上的姓氏19个，依次为：周、徐、刘、郑、余、王、吴、陈、俞、张、黄、李、夏、杨、祝、叶、毛、林、吕。一家一姓迁入后，多按中国典型的宗族制度聚族而居，建宅成村，并设立祠堂。其中闻名全县的“望族”有五都叶姓、杉溪俞姓、七都吕姓、八都蒋姓、十都王姓、十六都张姓、桐畈杨姓、龙溪祝姓等。
语言.广丰话（“广丰腔”）属吴语处衢片，是广丰县通用范围最广的方言。闽南语在广丰也有分布，俗称“福建腔”，为清代闽南移民带入，在横山镇、桐畈镇、洋