陆续有其他姓氏迁入，以明、清时期及中华人民共和国成立后最多。在明代县志中可见53姓，清代县志中可见101姓。1946年对全县姓氏的调查共得201姓。2002年户籍资料显示：全县共有姓氏341个，其中1万人以上的姓氏19个，依次为：周、徐、刘、郑、余、王、吴、陈、俞、张、黄、李、夏、杨、祝、叶、毛、林、吕。一家一姓迁入后，多按中国典型的宗族制度聚族而居，建宅成村，并设立祠堂。其中闻名全县的“望族”有五都叶姓、杉溪俞姓、七都吕姓、八都蒋姓、十都王姓、十六都张姓、桐畈杨姓、龙溪祝姓等。Section:::