Gould har vært gift tre ganger med to kvinner: Barbra Streisand fra 1963 til 1971. De har en sønn, Jason Gould. Jenny Bogart (1974–1976) og (1978–1979). De har to barn.