Som de fleste embetsmenn på den tiden kom Arentz selv fra embetsmannsslekt. Hans far var Frederik Arentz (1699–1779), sogneprest og biskop i Bergen. Moren var Frederikke Holberg, en niese til Ludvig Holberg. Broren var skolemannen Fredrich Christian Holberg Arentz.