Han var sønn av proprietær David Andreas Gram og hustru Elen Einarsdatter Schavland. På morssiden var han fetter av prest, ordfører i Trondhjem og stortingsmann Aage Schavland. I noen kilder, som hos Tallak Lindstøl, er Jacob anført med Marcus som mellomnavn, og en innførsel i en kirkebok er tvetydig, mens Henrik Mathiesen avviser dette.