Jacob var sønn av Bertram Dybwad (1768–1844) og Abel Margrethe Lefèvre (1767-1849) som var forvalter hos Bernt Anker. Han giftet seg 23. september 1814 med Christiane Lange (1795–1885), i Gran kirke på Hadeland. De var foreldre til blant andre Jacob Dybwad (1823–99). Skuespilleren Per Aabel har aner fra denne slekten.