Han nedstammet fra presten Mads Gram i Fron i Gudbrandsdalen og var oldebarn av fogden Laurits Gram. Hans far Mads Gram var kapellan i Land, mens moren het Kirsten Knutsdatter Mossin. Etter farens tidlige død vokste han opp hos sin farfar Niels Gram, som var sogneprest samme sted. I 1677 ble han og brødrene Peder og Knut sendt til København for å få privat undervisning. Niels Gram ble student i 1679 og ble kapellan hos sogneprest Michael Holst ved St. Laurentii kirke i Tønsberg i 1687. Her ble han i 1689 gift med sogneprestens datter Anne Mikkelsdatter.