Nach Ausbruch des Bürgerkrieges hob Holder sofort eine Kompanie aus und wurde durch Zuruf zum Captain ernannt. Es war die Kompanie C im 17. Regiment von Mississippi, welches Colonel Winfield Scott Featherston (1820–1891) unterstand. Nach Ablauf ihrer zwölf Monate, für welche sie sich verpflichtet hatten, verpflichteten sich jeder Mann erneut und Holder wurde einstimmig zum Captain ernannt. Als kurze Zeit später Colonel Featherstone zum Brigadegeneral befördert wurde, rückte ihm Captain Holder als Colonel des Regiments nach. Holder nahm an der Ersten Schlacht bei Manassas teil sowie den Schlachten von Leesburg, Gaines Mill (dritte Schlacht der Sieben-Tage-Schlacht während des Halbinsel-Feldzugs), Chancellorsville und Gettysburg neben zahlreichen Scharmützeln. Bei Malvern Hill brach er sich den Oberschenkel nah am Leib und bei Gettysburg wurde er am Unterleib so sehr verletzt, dass er beinahe daran starb. Diese zuletzt genannte Verwundung machte es ihm unmöglich weiterzukämpfen. Holder wurde ohne Wahlkampagne oder Ausschreibung in einer Nachwahl in den ersten Konföderiertenkongress gewählt, um dort die Vakanz zu füllen, die durch den Rücktritt von Brigadegeneral Reuben Davis (1813–1890) am 1. März 1863 entstand. Am 21. Januar 1864 trat er seinen Posten an. Sein Offizierspatent gab er erst zurück, als ihm der "Board of Surgeons" in Richmond (Virginia) nach einer sorgfältigen Untersuchung erklärte, dass er für den weiteren Felddienst untauglich war. Holder entschied sich daher im Konföderiertenkongress zu verbleiben. Er wurde in den zweiten Konföderiertenkongress gewählt und war dort bis Kriegsende tätig.