Han døde i Oslo i januar 1900, uten forutgående sykdom. Han giftet seg i 1842 med Jensine Wulfsberg, datter av Gregers Winther Wulfsberg. De hadde sønnen Gregers Gram, som var høyesterettsdommer, statsråd og amtmann. Gjennom ham ble de besteforeldre til høyepolitikeren Harald Gram og oldeforeldre til motstandsmannen Gregers Gram.