Han var sønn av kjøpmann og skipsreder Henry Parr Samuelson og Elisabeth Maria Andresen. Han giftet seg i 1861 med sin kusine, Betty Henriette Sørensen, som han fikk ti barn med. Familien bodde ved torget i Drøbak kjøpstad.