Jacob Aall var gift 1. gang med (død 1795). Borgestad gård var tidligere eid av hennes far, kanselliråd Bartholomæus Herman Løvenskiold, som var forfatter av boken «Beskrivelse over Bradsbierg Amt og Scheen Bye med sine Forstæder», Christiania 1784. Hans mor var Margareta Deichman gift med kanselliråd Herman Løvenskiold (1701–1759) som eide Borgestad. De hadde hennes mor Else født Rosenmeyer, boende på gården da hun ble enke etter biskop Bartholomæus Deichman i Christiania. Etter henne kalles en stue på gården for «Bispinnens», og der er det fortsatt malte veggtapeter fra 1700-tallet.