Han var sønn av kjøpmann og stortingsmann Jacob Schavland Gram og hustru Ingeborg Henrikke Forseth. Begge foreldrene kom fra Steinkjerdistriktet. Faren eide store jord- og skoggods i Trøndelag, og drev stort innen trelast. Moren døde da gutten var i 8-årsalderen, og faren giftet seg på nytt med Inger Marie Bing.