Han var sønnesønn av godseier og statsråd Niels Aall, og far til museumsdirektør Hans Aall. Diderich Maria Aall var dattersønn til eidsvollsmannen Didrich von Cappelen, Skien.