1861, bei Ausbruch des Bürgerkriegs, quittierte er, im Rang eines Major, den Dienst, bot seine Dienste den Konföderierten an und wurde wenige Tage darauf als Major zum leitenden Pionieroffizier im Stab von General Albert S. Johnston, mit dem er am 6. April 1862 auch an der Schlacht von Shiloh teilnahm und mehrfach verwundet wurde. Nach seiner Genesung ernannte man Gilmer im August 1862 zum leitenden Pionieroffizier des Wehrbereichs Norg-Virginia in Richmond, Virginia. Im August 1863 wurde Gilmer zum Generalmajor befördert. Sein erster Auftrag war die Koordination der Verteidigungsanlagen der Stadt Charleston, South Carolina. Im Juni 1864 kehrte er nach Richmond zurück und war bis Kriegsende erneut leitender Pionieroffizier des Wehrbereichs.