Hans bestefar var født i Norge og emigrerte til USA i 1870. Hilton-slekten er opprinnelig fra en gård i nærheten av Kløfta i Ullensaker kommune. Han fikk åtte barn, inkludert Richard Hilton. Han er dermed bestefar til Paris Hilton.