Hilton ble født i Dallas, Texas, sønn av Mary Adelaide (fødenavn Barron; 1906–1966) og Conrad Nicholson Hilton (1887–1979), grunnleggeren av Hilton-hotellene. Hilton vokste opp med tre søsken: Conrad Nicholson Hilton, Jr., Eric Michael Hilton, og Constance Francesca Hilton. Hans far var halv norsk og halvt tysk, og hans mor var fra Kentucky.