ジョージ・パットン4世は、一族で4人目の「ジョージ・スミス・パットン」であった。曽祖父ジョージ・スミス・パットンは南北戦争に連合国陸軍（南軍）の大佐として従軍し、1864年のオペクォンの戦いで戦死した。1856年に生まれた祖父は1868年に父の名誉を称えてジョージ・スミス・パットンと改名している。彼はに入校したものの、4人の「ジョージ」の中で唯一軍人の道を選ばなかった。父ジョージ・スミス・パットン・ジュニアは第二次世界大戦にアメリカ陸軍の軍人として従軍し、最も有名な「ジョージ」となった。父は「ジュニア」と名付けられていたものの、実際には3人目の「ジョージ」であった。その為、息子にジョージ・パットン4世の名を与えたのである。なお、1945年に父が事故死した後、法律上の氏名はローマ数字を省いたジョージ・スミス・パットンに変更している。ジョージ・パットン4世の長男ジョージ・スミス・パットン・ジュニアは5人目の「ジョージ」に当る。