Gram var sønn av sorenskriver Harald Gram og dattersønn av amtmann Gregers Winther Wulfsberg. Han ble født i Moss, morens hjemsted. Han tok artium i 1864, og ble cand.jur. fra Universitetet i Oslo i 1869. Etter eksamen var han ett år sorenskriverfullmektig på Hamar og konstituert sorenskriver, og deretter et års tid på dannelsesreise i Paris og Sveits i 1872. Han giftet seg i 1878 med Antoinette Augusta Brodtkorb (1857-1938).