Vidal var en kort tid forlovet med skuespilleren Joanne Woodward før hun giftet med Paul Newman. I 1950 møtte han sin livspartner, Howard Austen, som døde i 2003. I lange perioder bodde han vekselvis i California og Ravello i Italia. I 2003 solgte han huset i Italia.