Tommy Lee Jones vokste opp i San Saba i Texas. Hans far, Clyde C. Jones, jobbet på oljefeltene i Texas, mens moren, Lucille Marie Jones, arbeidet i en skjønnhetssalong. Hun ble senere politi. Da Jones var fire år gammel fikk foreldrene en sønn til, David Michael, som døde kort tid etter. Foreldrenes ekteskap var problematisk til tider på grunn av farens alkoholproblemer. De skilte seg tidlig, men giftet seg igjen i 1968. I 1974 skilte de seg nok en gang.