Hans foreldre var ingeniør Karl Skarstein (1892–1941) og Svanhild Sæthre (1898–1941). Jakob giftet seg i 1965 med Inger-Lise Skarstein, daværende «hallodame» og senere stortingsrepresentant.