Era nieto del comerciante de Boston Gardiner Greene, y descendiente de Lion Gardiner, uno de los primeros pobladores y soldados ingleses en el Nuevo Mundo que fundó el primer asentamiento de inglés en lo que más tarde se convirtió en el estado de Nueva York, y cuyo legado incluye la isla Gardiners, que permanece en el patrimonio de la familia.