Holliday war ein Anhänger der Konföderation und trat bei Ausbruch des Bürgerkriegs in deren Armee ein. Er wurde Colonel einer Infanterie-Einheit aus Virginia, die der sogenannten Stonewall-Brigade unterstellt war. Während des Krieges verlor er in der Schlacht am Cedar Mountain seinen rechten Arm. Daraufhin musste er am 1. März 1864 den Militärdienst aufgeben. Danach wurde er in das Repräsentantenhaus des 2. Konföderiertenkongresses gewählt, in dem er bis zum Ende des Krieges verblieb.