לעיתים קרובות עבודתו של גרדנר יוחסה בשוגג לבריידי, ועל אף שפע החומרים המצולמים שהפיק, נטו ההיסטוריונים להמעיט בחשיבות מורשתו התיעודית של מלחמת האזרחים. בנובמבר 1862 הדיח לינקולן את מקללן מהפיקוד על ארמיית הפוטומק, ועם הדחתו בוטל תפקידו של גרדנר כצלם צבאי ראשי. באותה עת סיים גרדנר את יחסי העבודה שלו עם בריידי, כפי הנראה על רקע מנהגו של בריידי לפרסם את צילומיו של גרדנר תחת הייחוס "צולם בידי בריידי". בחורף אותה שנה התלווה גרדנר לכוחו של הגנרל אמברוז ברנסייד, וצילם את קרב פרדריקסברג. לאחר מכן, התלווה לכוחו של הגנרל ג'וזף הוקר. במאי 1863 פתחו גרדנר ואחיו ג'יימס סטודיו צילום משלהם בוושינגטון די. סי. רבים מהעובדים ששכרו היו כאלו שעבדו קודם לכן עבור בריידי. באותה עת גרדנר אף צילם את קרב גטיסברג (יולי 1863) ואת המצור על פטרסבורג (יולי 1864-אפריל 1865).