Gram var sønn av legen Harald Mathias "Mads" Gram (1875–1929) og kunsthistoriker Irma Ingertha Schram (1873–1945). På farssiden var han en tremenning av Gregers Gram, nevø av Johan Fredrik Gram, barnebarn av Jens Gram, grandnevø av Andrea Gram, oldebarn av P. A. Munch og tippoldebarn av Jens Jensen Gram.