Gregers Gram var sønnesønn av Gregers Gram, Norges statsminister i Stockholm i to perioder i unionstiden, og sønn av Harald Gram, byfogd i Oslo og tidligere stortingsmann. Harald Gram var sentral i motstandsgruppen 2A under annen verdenskrig. Han var også leder av Idrettskontoret ved legasjonen i Sverige.