Hunt ble født i El Dorado i Arkansas til oljebaronen H.L. Hunt og var lillebror til Nelson Bunker Hunt og William Herbert Hunt. Lamar vokste opp i Dallas i Texas. Han gikk på Culver Military Academy og ble uteksaminert fra The Hill School i Pennsylvania i 1951 og Southern Methodist University i Dallas i 1956 med en bachelorgrad i geologi. Hunt spilte amerikansk fotball i college, men tilbrakte mesteparten av tiden på benken. Hans interesse for idrett var derimot stor både gjennom college og barndommen.