总的来说，大多为清朝湖广填四川后裔，以永州零陵移民最多，此外也有一些地方特色姓氏，比如马回乡的林姓、蔡姓、廖姓，县志记载为福建汀州府移民，万和乡的梅姓为元明江淮移民，凤石乡的盘姓为永州瑶族移民后裔，龙蚕乡的粟姓则为湖南沅州府侗族后裔，金溪镇的沈姓为湖北赤壁市移民后裔，遍布全县的母姓为四川土着，氐羌后裔，为毋姓简化而来，骑龙乡的庹姓也为巴人土着。1985年，依据县志记载全县共有203个姓氏：
名人.蓬安是西汉初年着名的大辞赋家，文学家，诗人，政治家司马相如的故乡（一说司马相如为四川成都