Aall var sønn av sogneprest Nils Anton Aall (1833–96) og Mathilde Susanne Dahl (1842–1910), og var den nest eldste av ni søsken. En yngre bror var overrettssakfører Herman Harris Aall, og den yngre søsteren Maren ble gift med Kristian Birch-Reichenwald Aars, som var statsstipendiat i filosofi. Selv ble han i 1899 gift med Cathrine Antonie Langaard (1863–1926). Aall ble gift for andre gang i 1928, med Lily Weiser-Aall.