Han ble født Eugene Luther Vidal jr. i West Point (New York). Han er eneste barn av Eugene Luther Vidal (1895–1969), som var offiser, idrettsmann og pilot som hadde en romanse med Amelia Earhart, og Nina S. Gore, en skuespiller som var datter av den demokratiske senatoren Thomas Gore som representerte Oklahoma. Hans foreldre skilte seg i 1935. Nina Gore giftet senere på nytt med Hugh D. Auchincloss, som også var Jacqueline Kennedy Onassis' senere stefar. Hans mor hadde også ifølge Vidal «a long off-and-on affair» med skuespiller Clark Gable. Vidal vokste opp i Washington, DC og etter å ha tatt eksamen ved Phillips Exeter Academy vervet han seg til hæren og tjenestegjorde på Aleutene under andre verdenskrig. Vidal tok navnet Gore som en hyldest til sin morfar Thomas Gore.