Han var født på Ask gods på Ringerike, som faren hadde eid fra 1816. Faren var sorenskriver Jens Jensen Gram. Harald Gram tok artium i 1836 og ble cand.jur., i 1841. Han var amtsfullmektig i Østfold noen år, politifullmektig i Bergen fra 1854, politimester i Halden fra 1855, sorenskriver i Hamar fra 1863 og sorenskriver i Tune fra 1875 til han gikk av i 1892. Han ble Ridder av 1. klasse av St. Olavs Orden i 1890, og var også ridder av Vasaordenen.