唯色1966年7月21日出生於文化大革命中的拉薩，从小在四川藏区和汉区长大。唯色的祖父是江津汉人，祖母是康区德格的藏人。唯色的父亲泽仁多吉（汉名程宽德）通藏、漢雙語，1950年初，毛泽东派军入藏，经过其家乡德格（今四川省甘孜藏族自治州）時，13岁的泽仁多吉被他的父親送去入伍 ，随解放军入藏，1950年代中期是少尉，文革时在西藏军区政治部是副团职军官，病故前是拉萨军分区副司令。母亲是日喀则地区的藏人，外祖父曾是噶厦噶伦、昌都总管拉鲁·次旺多吉的管家。