Gardner nació en Escocia. A los 14 años se convirtió en aprendiz de joyero especializado en el oro y la plata. Educado en el calvinismo e influido por la obra de Robert Owen, socialista galés y padre del movimiento cooperativista, se interesó durante su madurez en la creación de una cooperativa en los Estados Unidos que incorporaría valores socialistas. En 1850, Gardner y otros compraron tierras cerca de Monona, en Iowa, para llevar a cabo su proyecto, pero Gardner nunca vivió allí, eligiendo regresar a Escocia para conseguir más dinero. En 1851 se convirtió en el propietario y editor del periódico "Glasgow Sentinel", año en que, al visitar la Gran Exposición en Hyde Park, vio la obra fotográfica del estadounidense Mathew Brady y comenzó así a interesarse por el tema.