Nacido en una familia pobre en Waco, Carolina del Norte, Patterson fue el menor de 11 hermanos y tuvo una infancia aislada y difícil.