有少量九姓渔民居住。九姓渔民是一种水上居民，直到20世纪中叶才上岸定居，现不足千人，“九姓”是指陈、钱、林、李、袁、孙、叶、许、何九个姓。九姓渔民的方言与建德市梅城一带的方言有同有异，各地九姓渔民方言之间也存在不少差异。
畲话.畲话是畲族使用的一种的汉语变体，与客家话、闽语等南方汉语有些接近。畲族主要居住在福建、浙江二省，在浙江省主要分布在南部的景宁、丽水市辖区、云和、遂昌、泰顺、文成、苍南、龙游等地，在西部建德、淳安、桐庐等地也有少量分布。浙江省的畲族主要是明清两代从闽东连江、罗