Jacob Aall tilhørte den norske slekten Aall og var sønn av Amborg Wesseltoft og Nicolai Benjamin Aall (1739–98), som var kjøpmann i Porsgrunn og eier av Ulefos Hovedgaard. Jacob Aall var bror av Nils, Jørgen og Benedicte Henrikke Aall gift med Ulrich Fredrich von Cappelen. Stattholder Severin Løvenskiold var deres fetter gjennom hans mor, Benedicte Henriette Løvenskiold født Aall, som var søster av deres far.