Nie wiadomo, gdzie i u kogo Gardner uczył się fotografowania, jednak zapewne zainteresowanie fotografią związane było z jego wcześniejszym zainteresowaniem chemią. Na Wielkiej Wystawie w Londynie 1851 zobaczył prace amerykańskiego fotografa Mathew B. Brady'ego i od tego czasu zaczął intensywnie zajmować się fotografią. Dla swojego tygodnika zaczął pisać recenzje wystaw fotograficznych. Na początku 1856 przeniósł się wraz z rodziną do USA, jednak po przybyciu do kolonii Clydesdale stwierdził, że wielu znajomych i krewnych zmarło lub było śmiertelnie chorych na gruźlicę. Porzucił więc pierwotne plany i tego samego roku przybył od Nowego Jorku. Po nawiązaniu kontaktu z Bradym został przez niego zatrudniony jako specjalista od nowej technologii fotograficznej – mokrej płyty kolodionowej, szybko wypierającej dagerotypię – jak również od szczególnie dużych formatów, które można było drogo sprzedawać. Od lutego 1858 kierował jego studiem w Waszyngtonie. Później wszedł w skład dwudziestoosobowej grupy fotografów, która pod kierownictwem Brady’ego dokumentowała przebieg wojny secesyjnej (1861–1865). Do tego związanego z armią Unii zespołu fotografów należeli oprócz Gardnera m.in. Timothy H. O’Sullivan i George N. Barnard.