Han ble født i Fort Worth, Texas. Han var direkte etterkommer av Isaac Van Zandt, major og prominent leder i republikken Texas og en av grunnleggerne av Fort Worth. Van Zandt County i østre Texas ble oppkalt etter hans familie i 1848. Townes' foreldre var Harris Williams Van Zandt (1913–1966) og Dorothy Townes (1919–1983).