Wofford nació en el condado de Habersham, en Georgia, hijo de William H. Wofford y Nancy M. Tatum. Se convirtió en abogado, legislador y editor del "Standard" de Cassville. Votó en contra de la secesión, pero ofreció sus servicios al ejército confederado ya que tenía experiencia de la Intervención estadounidense en México como capitán de los Voluntarios montados de Georgia. Pronto alcanzó el grado de coronel del 18º Regimiento de Infantería de Georgia y sirvió en Carolina del Norte y Virginia antes de ser asignado a la Brigada de Texas del general John Bell Hood. Combatió en las batallas de Yorktown, Eltham's Landing y Seven Pines en la Campaña peninsular, y en la segunda batalla de Bull Run y en la de Antietam, donde comandó la Brigada de Texas.