Hartvig Eckersberg tilhørte en gammel skipper- og handelsslekt fra Tangen; han var sønn av skipsreder på Tangen Frederik Eckersberg, bror av en av Drammens ledende forretningsmenn Knud Eckersberg og onkel til maleren Johan Fredrik Eckersberg. Hans datter Isabella Frederikke Desirée Eckersberg var gift med sogneprest i Strand Henrik Bauer Moses, og Hartvig Eckersberg døde under et besøk hos datteren og svigersønnen. Hartvig Eckersberg var morfar til den amerikanske guvernøren og senatoren John Moses.