Jacob Dybwad var sønn av Jacob Erasmus Dybwad. Han var gift med Anna Margrethe Aabel, datter av Peter Pavels Aabel og far til arkitekt Peter Dybwad og forfatter og advokat Vilhelm Dybwad, sistnevnte ga blant annet ut biografien i 1942. Den norske oversetteren Jacob Dybwad er hans barnebarn ( av Mark Twain (1947), av Sten Bergman (1951), av Kathryn Forbes (1975).