Payton var ett av tre barn født til Peter og Alyne Payton i Columbia i Mississippi. Faren var en fabrikkarbeider som hadde spilt baseball på et semi-profesjonelt nivå. Payton var en aktiv speider, spilte i Little League Baseball og var aktiv i sin lokale kirke. Ved John J. Jefferson High School spilte han trommer i korpset, deltok på friidrettslaget, og sang i skolekoret. På fritiden spilte han trommer i jazz-rock-band.