识别民族（目前暂列为藏族），但普遍被认为是氐族的直系后裔。白马人有独特的语言和文化。白马语和康巴语、羌语相近，但没有相应的文字，依靠口口相传。在宗教仪式里使用类似象形文字的符号。
历史.白马人的祖先为氐人，在汉代被称为白马氐。汉武帝时设立了武都郡以管理白马氐为主的氐族人。唐初松赞干布建立吐蕃后，扩张到今甘肃东南、四川西北一带后，白马氐逐渐吸收藏族部份生活习惯。白马人所居住的区域以前称为湔氐道。一般而言，白马人都有小名、白马语名、汉名三套姓名，每家每户都有汉姓，其中杨姓居多。