Hubbard ble født i Boston, Massachusetts til Samuel Hubbard (2. juni 1785 – 24. desember 1847) og Mary Greene (19. april 1790 – 10. juli 1827). Samuel Hubbard var høyesterettsjustitiarius i Massachusetts høyesterett og Hubbards morfar var Boston-kjøpmannen Gardiner Greene. Han var også en etterkommer av Lion Gardiner, en tidlig engelsk nybygger og soldat i den Den nye verden, som grunnla den første engelske bebyggelsen i det som senere ble delstaten New York. Gardiners Island er fortsatt i familiens eie.