Herman Harris Aall var fjerde barn av Niels Anton Aall (1833–96) og Mathilde Susanne Dahls (1842–1910) åtte barn. Faren var sogneprest og tilhørte «plankeadelsfamilien» Aall fra Ulefoss i Telemark. Hermann var bror til Anathon Aall.