Con el estallido de la Guerra Civil y la secesión de Virginia, Jones renunció a su comisión en el Ejército de los Estados Unidos el 27 de mayo de 1861 para ingresar al servicio confederado como capitán de artillería. Fue nombrado coronel de infantería y sirvió en lo que se convirtió en el Ejército del Norte de Virginia. Participó como oficial de estado mayor en la campaña de Stonewall Jackson en el valle de Shenandoah de 1862, Front Royal, las batallas de los siete días, la segunda batalla de Bull Run, Fredericksburg y Chancellorsville. En mayo, Jones fue ascendido a general de brigada en la división de Edward "Allegheny" Johnson para reemplazar a John R. Jones (no relacionado). Durante el asalto de Johnson a Culp's Hill en Gettysburg, Jones sufrió una herida grave en el muslo que lo dejó fuera de combate. Algunas fuentes dicen que fue una herida en la cabeza, pero en su informe oficial, Jones cita una hemorragia extrema en el muslo. En agosto, Robert E. Lee llamó a Jones "un buen comandante" cuando lo asignó para dirigir la brigada dejada vacante por William "Extra Billy" Smith, quien había regresado a Virginia como gobernador. A finales de año, Jones fue herido nuevamente durante la Campaña Mine Run.