Gram vokste opp på gården Øvre Skjefte i Steinkjer som sønn av Harald Gram og Else-Marie Grove, av trønderslekten Gram på farssiden. Bjørn Arild Grams tippoldefar, ingeniør og brukseier Jakob Skavlan Gram på By i Steinkjer, var sønn av brukseier David Andreas Gram og bror til kvinnesaksforkjemper Fredrikke Marie Qvam (født Gram).