Nach dem Ausbruch des Bürgerkrieges verpflichtete er sich in der Konföderiertenarmee. Baylor erhielt eine Offizierspatent zum "First Lieutenant" in der Kompanie H in der zweiten Kavallerie von Texas in "John Robert Baylors Arizona Brigade." Er diente dort als Regimentsadjutant. Im Herbst 1861 trat er von seinem Posten zurück, um als "Senior Aide-de-Camp" unter General Albert S. Johnston (1803–1862) zu dienen. Nach dem Johnston am 6. April 1862 bei der Schlacht von Shiloh in Tennessee fiel, kehrte Baylor nach Texas zurück. Er wurde zum Lieutenant Colonel befördert und erhielt das Kommando über das zweite Bataillon in der Armee von Henry Hastings Sibley (1811–1891). Das Bataillon wurde dann mit dem zweiten Kavallerieregiment der Arizona Brigade zusammengetan, dessen Colonel er wurde. Baylor kommandierte 1864 auch ein Kavallerieregiment während des Red River Feldzugs. Er wurde für seine Tapferkeit bei den Schlachten von Mansfield und Pleasant Hill belobigt. Am 6. April 1865 erschoss er auf der Straße vor dem "Fannin Hotel" in Houston den General John A. Wharton (1828–1865). Das Fannin Hotel war zu der damaligen Zeit das Hauptquartier von Generalmajor John Bankhead Magruder (1807–1871). Wharton und Baylor führten vor diesem Vorfall mehrere Streits. In diesem Fall ging es um militärische Angelegenheiten. Wharton nannte Baylor dabei einen Lügner, woraufhin dieser seine Waffe zog und auf den unbewaffneten Wharton schoss und dieser auf der Stelle starb. Baylor bedauerte diesen Vorfall für den Rest seines Lebens.