Bergh war der Jüngste Sohn von Christian und Elizabeth Bergh (geborene Ivers) und wuchs mit seinem Bruder Edwin und seiner Schwester Jane in einem zweistöckigen Haus des südöstlichen Manhattan auf. Die Region fiel in eine Hochzeit von Einwanderungsaufkommen, insbesondere aus Irland, Europa allgemein und China. Christian Bergh war ein erfolgreicher Schiffsarchitekt und profitierte ökonomisch massiv vom Krieg von 1812. Während der ersten Lebensjahre Henrys, bis 1815 arbeitete Christian Bergh am Ontariosee für die US-amerikanische Marine. Henry wurde am Columbia College im Jahrgang von 1834 unterrichtet, verließ die Einrichtung allerdings 1835 ohne Abschluss, um für C. Bergh and Co. – der Firma seines Vaters – zu arbeiten. Christian Bergh setzte sich zwei Jahre später zur Ruhe und die Brüder Henry und Edwin strukturierten das Unternehmen um. Die große Geschäft mit dem Schiffsbau war zu diesem Zeitpunkt längst abgewickelt und noch vor Christian Berghs Tod im Jahr 1843 stellte das Unternehmen die Geschäfte vollständig ein. Nichtsdestotrotz hatte das Unternehmen der Familie ein beträchtliches Vermögen eingebracht, sodass Henry Bergh zeitlebens nie aus wirtschaftlichen Gründen hätte arbeiten müssen.