גרדנר נולד בפייזלי, סקוטלנד, ב-1821. כשהיה בן 14 שנים שימש שוליה לצורף תכשיטי כסף. הוא גדל לפי חינוך קלוויניסטי והושפע מפועלו של רוברט אואן, פעיל חברתי ואוטופיסט סוציאליסטי ממוצא ולשי, אבי מודל הקואופרטיב. בגיל בגרות שאף להקים קואופרטיב בארצות הברית שיפעל על פי ערכים ועקרונות סוציאליסטיים. ב-1850 חבר לקבוצה שרכשה פיסת אדמה ליד מונונה, איווה, שיועדה למימוש מטרה זו, אך גרדנר מעולם לא התגורר שם, מאחר שהחליט לשוב לסקוטלנד על מנת לגייס מימון נוסף ליישוב. הוא נשאר בסקוטלנד עד 1856, וב-1851 היה לבעלים ולעורך של כתב העת "משמר גלאזגו" ("Glasgow Sentinel"). ב-1851 ביקר בתערוכה הגדולה בהייד פארק, לונדון, שם נתקל בצילומיו של הצלם האמריקאי מת'יו בריידי, והחל עקב כך להתעניין בתחום. ב-1856 עבר גרדנר עם משפחתו לארצות הברית. רבים מבני יישוב הקואופרטיב אותו סייע להקים באיווה נפטרו עד אז, ורבים אחרים נטו למות בשל מחלת השחפת, ועל כן החליט גרדנר להישאר בניו יורק. הוא יצר קשר עם מת'יו בריידי ובאותה שנה החל לעבוד עבורו, והמשיך בכך עד 1862. בתחילה התמחה גרדנר בהפקת הדפסי תצלומים רבי-מידות, שכונו Imperial photographs, ועם היחלשות יכולת הראייה של בריידי, לקח על עצמו גרדנר עוד ועוד תחומי אחריות. ב-1858 הפקיד אותו בריידי על הגלריה שלו בוושינגטון די. סי..