威廉·布劳德的爷爷是厄尔·布劳德（Earl Russell Browder），1891年出生于堪萨斯州。爷爷是一个共产国际激进分子，从1927年开始在苏联生活了几年，并且在当地娶了一个叫瑞莎·伯克曼的俄籍犹太裔妇女。1931年返回美国后，布劳德成为了美国共产党的领导人，并于1936年和1940年竞选美国总统。第二次世界大战后，厄尔·拉塞尔·布劳德失去了莫斯科的青睐，被美国共产党开除。爷爷厄尔和他的妻子瑞莎有三个儿子，都是数学家。他们是美国顶尖大学的数学系主任，其中包括威廉的父亲菲利克斯（菲利克斯·布劳德