Gardner trabajó para Brady de 1856 a 1862. De acuerdo con una reseña del "New York Times", Gardner habría visto con frecuencia cómo su trabajo se le atribuía a Brady, y a pesar de su considerable obra, los historiadores han tendido a darle un reconocimiento escaso por su documentación de la Guerra Civil. Lincoln destituyó a McClellan del mando del ejército del Potomac en noviembre de 1862, y el trabajo de Gardner como fotógrafo jefe del ejército terminó también. En esa época, Gardner terminó su relación laboral con Brady, probabblemente en parte debido a la práctica de Brady de atribuirse la obra de sus empleados con el membrete de "Photographed by Brady". Ese invierno, Gardner siguió al General Ambrose Burnside, fotografiando la Batalla de Fredericksburg. A continuación, siguió al General Joseph Hooker. En mayo de 1863, Gardner y su hermano James abrieron su propio estudio en Washington, D.C, contratando a buena parte del antiguo equipo de Brady. Gardner fotografío la Batalla de Gettysburg (julio de 1863) y el Asedio de Petersburg (junio de 1864–abril de 1865) durante esa época.