Jacob von der Lippe var gift med Ingeborg Erichsen (død 1880) som var datterdatter til biskop Johan Nordahl Brun (død 1816). Blant Jacobs og Ingeborgs barnebarn er Antonette (Nette) T. Cappelen født von der Lippe (død 1934) som var gift med Didrik (Diddi) Cappelen (død 1941), Skien.