有兄长谢寄奴、谢探远、谢渊、谢攸、谢靖、谢豁六人，弟弟谢康，姐妹谢道韫、谢道荣、谢道粲、谢道辉四人，谢玄为第七子。其中，谢玄长姐谢道韫即为着名咏絮才女。谢玄原配妻子为泰山羊氏族人，感情甚笃，曾有寄鱼的佳话流传。丧偶后，续娶谯国桓氏。谢玄嫡孙即为着名山水诗人谢灵运。谢灵运幼颖悟，父亲谢瑍却是个笨蛋，谢玄觉得奇怪，曾说：「我乃生瑍，瑍那得生灵运！」，谢灵运出生时，正逢谢安、谢靖和谢玄幼子接连去世，因谢家人觉得子孙难得之故，特地将谢灵运送到道观中抚养。
早年.谢玄幼年随叔父谢安在东山