Han var sønn av presten Søren Hjelm Friis. Jakob var bror til blant andre språkforskeren Jens Andreas Friis og politikeren Nicolai Friis (1815–1888). Han var gift med Johanne Henriette Berg (1850-1924). Blant deres barn finner man historikeren Jakob Johan Sigfrid Friis (1883–1956), som i 1944 utga farens biografi.