Gardner travaille pour Mathew Brady de 1856 à 1862. Selon une chronique du "New York Times", Gardner a souvent vu ses travaux faussement attribués à Brady et malgré l'importance de son œuvre, les historiens n'ont pas accordé pleine reconnaissance de son travail de documentation de la Guerre de sécession. Lincoln démet McClellan du commandement de l'Armée du Potomac en , ce qui rend plus précaire le rôle de chef photographe de l'armée de Gardner. C'est au même moment qu'il cesse de travailler pour Brady, sans doute parce que ce dernier avait l'habitude de s'attribuer la paternité des travaux de ses employés en les estampillant « "Photographed by Brady" » (photographié par Brady). Pendant l'hiver, Gardner accompagne le général Ambrose Burnside, photographiant la Bataille de Fredericksburg. Puis il suit la campagne du général Joseph Hooker. En , avec son frère James, il ouvre son propre studio à Washington, engageant des nombreux ancien employés de Brady. En , il photographie la fameuse Bataille de Gettysburg, puis le Siège de Petersburg de juin à .