Han var sønn av byfogd Nils Christian Joachim Stockfleth Aall (1842–1918) og Grethe Agna Kalmer (1859–1940) fra Halden. Han var gift 1919–1925 med Angela Hewson, og giftet seg for andre gang 1925–1932 med Cecilie (Ciss) Heidenreich (1902–1933); de fikk sønnen Nils (født 1928 i Peking).