Nach seinem formellen Austausch am 27. August 1862 wurde Garrard zum Colonel der 146. New York Infanterie in der Army of the Potomac ernannt und nahm an den Schlachten von Fredericksburg, Chancellorsville und Gettysburg teil. Bei Gettysburg übernahm er das Kommando der 3. Brigade von Generalmajor George Sykes' Division, nachdem Brigadegeneral Stephen H. Weed auf Little Round Top gefallen war. Ende Juli 1863 wurde er während der Verfolgung von Lees Army of Northern Virginia zum Brigadegeneral befördert.