Hendrik Christian Andersen var sønn av vognmann Anders Andersen fra Lærdal og Helene Monsine Monsen fra Bergen. Samme år utvandret hans far til USA, og i 1873 fulgte resten av familien etter. De bosatte seg i Newport i Rhode Island i USA året etterpå. Som ung mann begynte han å arbeide med skulptur, han omgikkes den velstående eliten i byen, og var kunstlærer for Gertrude Vandebilt Whitney. I USA ble yngstebroren Arthur født. Eldstebroren Andreas utdannet seg til maler, og en rekke av hans bilder er utstilt i museet i Roma.